司馬遷的妻子柳倩娘是成紀人，今甘肅秦安縣北，而且是西漢名將李廣的外孫女，父親柳振庭是一位詩書畫都極好的讀書人。長子司馬臨後改姓“馮“夏陽人，今陝西韓城人，次子司馬觀，後改姓“同”夏陽人，今陝西韓城人。女兒歷史上不可考，嫁丞相楊敞。楊敞，西漢丞相。漢昭帝時曾任丞相，爲弘農楊氏第一世祖。
楊敞之妻爲司馬遷的女兒，大將軍霍光，是漢武帝的託孤重臣，輔佐八歲即位的漢昭帝執政，威勢很重。霍光身邊有個叫楊敞的人，行事謹小慎微，頗受霍光賞識，升至丞相職位，封爲安平候。楊敞的妻子，是太史公司馬遷的女兒，頗有膽識。她見丈夫猶豫不決的樣子，暗暗着急，趁田延年更衣走開時，上前勸丈夫說：“國家大事，豈能猶豫不決。
