門閥制度起源於東漢末年，那個時候很多豪強，政治上把持地方政權，經濟上靠土地的兼併成就了大型家族，成為門閥制度形成的政治和經濟基礎。到後來豪強地主透過察舉制，逐漸向中央輸出自己門閥的子弟，到曹丕時期實行九品中正制，也被他們利用，成為他們把持朝政到工具。

門閥制度沒落卻是南朝時期，因為做官對門閥子弟太容易了，導致他們不思進取，門閥內部開始腐朽，逐漸喪失從政能力和從軍能力。還有就是矛盾急劇激化，農民起義不斷，寒門學子開始走上政治舞臺，雖然門閥還在，但實權漸無，到了隋實行科舉，取士不問出身，盛行的世族門閥開始真正消亡起來。

東晉的建立就與世家大族分不開，當年西晉被劉曜滅亡以後，司馬睿在江東當了皇帝，依靠的是王導王敦兄弟以及王家。造成了王與馬共天下的格局，接下來各大世族你方唱罷我登臺，是世族的輝煌時期。世族的消亡和倆個人密切相關。

第一個就是宋武帝劉裕，劉裕出身寒門，憑藉一身軍工，消滅異己，滅國無數，依靠平民組成的北府軍南征北戰，對於世族有著天然的敵視，隨著他代晉建宋，與世族表面上的合作已經使世族衰弱，重用寒門，出現了寒門掌機要。

第二個人就是侯景，侯景叛北齊，投奔南梁，而後又叛梁，攻入建康，要求與王謝等高門大族聯姻，卻被拒絕，於是大肆屠戮，王謝等遭受滅頂之災。

還有一個原因是世族自己的不爭氣，除了出了謝安，謝玄等高才。其他人均不太爭氣，吃喝玩樂，服寒食散，化妝比美，這樣都不衰敗，毫無天理。