司馬遷出身於中下層官吏家庭。高祖司馬昌，當秦始皇時，作主鐵官。曾祖司馬無澤，在漢初作長安的一個“市長”。祖司馬喜，沒有做官，而有第九等爵位，爲五大夫。他的家庭在漢文帝時可能是所謂“中人之家”，以農業和畜牧致富，因而能夠出粟買爵。父司馬談，在漢武帝建元年間，即公元前140到前135年作了太史令，通稱太史公，這是史官，漢武帝新恢復的一種古官。官位不高，職權不大，主官天時星曆，祭祀禮儀，蒐羅並保管典籍文獻，這是史官的傳統。
