当时，卓王孙之女卓文君新寡不久。她美貌聪慧，酷爱音乐。酒酣时，司马假意奏琴与王吉相和，以琴音试探卓文君。当初，司马前往临邛，车马随从，雍容华贵，仪容优雅，甚为华丽漂亮。当司马奏琴时，卓文君躲在窗后偷偷窥视，十分钦羡司马的容貌，产生了仰慕之心，唯恐无缘相见。宴罢，司马就派人重赏卓文君的侍者以通殷勤。于是，卓文君夜奔司马，两人驾车连夜返回成都。
现在的司马家徒四壁，无以为生。卓王孙听说此事后大怒，说：“我的女儿如此不成器，我虽不忍杀她，但却决不分给她一个钱。”卓文君在成都久了，日子艰难，心中不乐，对司马说：“你我一起去临邛，向族中亲戚借贷一些钱物，也足以为生，何至于自甘这般穷苦！”司马便和卓文君一起到临邛，将车骑等物尽数卖掉，买了一小酒馆，卓文君卖酒，司马穿起了短裤，与酒保、杂役等一起干活，在街市中洗涤酒器。卓王孙听说后深感羞耻，并因此闭门不出。族中亲戚及卓王孙门客纷纷劝卓王孙说，文君已失身于司马，司马倦于仕宦，虽然家贫，但人品才学却足以依靠，而且他又是县令的至交，您怎么能如此窘迫他们呢？卓王孙不得已，分给卓文君僮仆百人，钱财百万以及文君的嫁妆。卓文君就和司马一起回归成都，置田买宅，成了当地的富人。