關於司馬遷後裔改姓之說，史書並無證據，根據主要是傳說資料，認為司馬遷的後裔改為馬、同、馮三姓，司馬遷祠有清朝的石碑有馬姓自稱是司馬遷後裔。

不過，說司馬遷因為李陵事件，起後裔改姓，並不可靠，因為司馬遷已經受刑，不太可能後裔怕牽連改姓。有人認為司馬後裔改姓是因為石勒佔領長安後大殺司馬氏，司馬氏改姓避禍，請乾隆朝《重修太史廟記》說司馬遷後裔身上避王莽亂漢和劉宋翦除司馬之禍而遷居改姓的。

這些都是清代的材料，並沒有更早的材料可以證明，這些石碑、志書依據的主要還是傳說故事，不過司馬氏改姓時間則是可能的，不過不屬於司馬遷在世時候的事。

司馬遷是陝西省韓城縣高門村人，在韓城縣芝川鎮南嶺上有個司馬遷詞，這座司馬遷祠正是司馬遷後人為祖先司馬遷修建的詞廟，廟內莊嚴而堂皇，門口掛著一塊高額大匾上面書寫著巍峨的四個大字“文史祖宗”。

司馬遷父親名叫司馬談，擔任漢代文史令，司馬遷從小受到父親的薰陶跟父親一樣是記錄與整理文史的能人，在父親身邊輔助父親記錄文史，在司馬遷三十八歲時父親因病世故，父親的官職一直空缺一時尋不到合適的人頂替，漢武帝見司馬遷一生跟隨父親左右兢兢業業的輔助父親完成工作，就任命其子司馬遷為文史令，接替父親司馬談之職。在司馬遷任命文史令十年期間司馬遷一直撰寫偉大的文史鉅作《史記》。

就在漢武帝天漢二年公園前99年匈奴人屢次進犯漢朝邊境酒泉，漢武帝派右賢王的貳師將軍李廣利去酒泉擊退匈奴並任命司馬遷親友李凌為李廣利護送軍餉與戰甲與兵器。李凌親自帶著五千步兵行至浚稽山時遇到匈奴軍隊的伏擊，在苦戰了一月之後李凌帶的五千人馬死傷過半，匈奴也死傷過萬，匈奴越聚越多，在苦戰幾日之後，李凌斷絕糧草，一直等不到李廣利援軍的到來，無奈之下投降匈奴以便日後在做打算。

大臣門聽說李凌投降的訊息後芬芬上表漢武帝彈劾李凌，漢武帝龍顏大怒，下旨株連李凌九族。只有司馬遷一人站出來為李凌說話，司馬遷並不是因為李凌是他親友而為他說話，而是司馬遷知道李凌並非貪生怕死之輩為自己能夠活下來而連累家眷之人，司馬遷知道李凌在家對父母的孝順之心，對他人坦誠相待，言而有信，童叟無欺。有一腔報國熱血的心而去求情。

司馬遷上奏漢武帝：李凌投降是有冒犯欺君之大罪，但念其他帶領五千人馬吸引了匈奴大部分兵力，用五千人馬殺掉匈奴一萬多兵馬，並且一直等不到李廣利的援軍與糧草導致李凌兵敗投降，應該功過相抵。

司馬遷不畏權貴，因李凌投降之事得罪了李廣利。也為自己惹下禍端，司馬遷回到家給家裡說起了此事，他知道他得罪了權貴並惹得漢武帝大怒，很有可能會受到李凌投降罪的連坐。給家裡兩個兒子交代一下讓他們帶著《史記》逃難讓他們從此隱姓埋名，命兩個兒子分別改為同跟馮姓。