兩人最後白首偕老，安居林泉。據說司馬相如所寫《子虛賦》得到漢武帝賞識，又以《上林賦》被封爲郎，即帝王的侍從官。不久打算納茂陵女子爲妾，冷淡卓文君。於是卓文君寫詩《白頭吟》給相如：“曾經患難與共，情深意篤的日子此刻早已忘卻，哪裏還記得千里之外還有一位日夜倍思丈夫的妻子。”終於某日，司馬相如給妻子送出了一封十三字的信：“一二三四五六七八九十百千萬。”聰明的卓文君讀後，淚流滿面，一行數字中唯獨少了一個“億”，即無憶，便夫君在暗示自己已沒有以往過去的回憶。卓文君懷着十分悲痛的心情，回《怨郎詩》旁敲側擊訴衷腸，相傳又附《訣別書》給相如。司馬相如看完妻子的信，不禁驚歎妻子之才華橫溢。遙想昔日夫妻恩愛之情，羞愧萬分，從此不再提遺妻納妾之事。
