司馬遷的父親是司馬談。司馬談是西漢夏陽，即今陝西韓城人。其父叫司馬喜，在漢初爲五大夫。司馬遷受司馬喜的影響最深。司馬談在漢武帝時，任太史令。漢武帝元封元年，即公元前110年，漢武帝東巡至泰山，並在山上舉行祭祀天地的典禮，便是所謂的封禪大典。司馬談當時因病留在洛陽，未能從行，深感遺憾，抑鬱憤恨而死。他所要論著歷史的理想和計劃，便留給兒子司馬遷去實現。
