晉朝是中國歷史上最弱、最慫的一個王朝，基本上整個朝代皇權失落，士族當權。西晉剛建國時，司馬氏確實興旺了一陣，但晉惠帝執政時，引發了八王之亂，司馬氏之間，互相殘殺，不但沒有興旺司馬氏，反而因為內訌使司馬氏嚴重縮水。八王之亂後，引發了五胡亂華，胡人是殺人不眨眼的，司馬氏是皇族，首當其衝是挨刀的物件。這是司馬氏第二次縮水。

東晉建立後，司馬氏在江南又有恢復，但後來又發生了侯景之亂。這個侯景和石勒一樣，名是漢名，實際上不是漢人，而是羯族。羯族是把漢人不當人的，他們又開始殺漢人，司馬氏就站在第一位挨刀。這是司馬氏第三次縮水。司馬氏得國不正，東晉又偏安一隅，司馬氏皇權失落，所以司馬氏並沒有多少皇族的榮耀，並不象其他皇族一樣被人瞧得起。那時侯吃香的是士家大族。“舊時王謝堂前燕，飛入尋常百姓家”，王家和謝家比司馬家還興旺。東晉朝的晉安帝是個白痴，最後被劉裕殺死，便走到了司馬氏的盡頭。劉宋建立後，對司馬氏又展開了新一輪的屠殺。倖存的司馬氏跑到北魏去了，在江南的基本上死亡殆盡。

司馬氏失去政權後，司馬這個姓就更沒有什麼值得榮耀的了，除了有危險被屠殺，沒有什麼好。所以許多司馬氏開始改姓，這也是司馬氏這麼少的一個重要原因。