其實還是出過幾個傑出人物的，比如：裴澈，唐僖宗時宰相。裴贄，唐昭宗時宰相。裴樞，唐昭宗宰相。河東裴氏的衰落主要有以下幾三個原因。

事件發生在天祐二年（905年），朱溫在李振的鼓動下，為了掃清稱帝的障礙，殺死了眾多大臣，大約三十餘人。殺死後並投屍於河。史稱“白馬驛之禍”。其中，裴樞、裴贄都因此而死。裴家失去了重要的主心骨，很難凝聚成一股強大的力量，而這股力量正是產生傑出人物的土壤。

隋朝之前，官職由世家大族掌控，史稱“上品無寒門,下品無士族”。河東裴氏這樣的著名的世家大族，更是為官十分容易，加上本身的教養也不錯，也就有很多傑出人物了。但這一切在科舉制施行後就變了。

楊廣為削弱世家大族的影響力，建立科舉制，透過考試來獲得官位，大大限制了世家大族對官位的壟斷。其實不只是河東裴氏，其他大族比如范陽盧氏、清河崔氏等都開始走向沒落。

唐朝末年，先是安史之亂，後是藩鎮割據，連綿混戰，這是河東裴氏只出了一位賢相——裴度。而之後的黃巢大起義更是嚴重動搖了世家大族的地位，隨後藩鎮混戰更加激烈，各個掌權者多為行伍出身，不太在意世家大族，折讓本就開始沒落的河東裴氏雪上加霜。最後，白馬驛之禍稱為壓死河東裴氏的最後一根稻草。

之後河東裴氏逐漸式微，宋代時曾有一位裴濟，官職最高時為知州和知軍，是唐朝時宰相裴耀卿的八世孫，不過他是一員武將，可見河東裴氏已經被迫在武將方面謀出路了。裴濟之後也就沒有什麼大官出現了。