公元前146年至公元394年，古奧運會由衰落走向毀滅。羅馬帝國統治希臘後，起初雖仍舉行運動會，但奧林匹亞已不是唯一競賽地了。如公元前80年第175屆奧運會，羅馬經濟規律就把優秀競技者召集在羅馬比賽，而奧林匹亞只舉行了少年賽。

這時職業運動員已開始大量出現，奧運會成了職業選手的比賽，希臘人對之失去了興趣。公元2世紀後，基督教統治了包括希臘在內的整個歐洲，倡導禁慾主義，主張靈肉分開，反對體育運動，使歐洲處於一個黑暗時代，奧運會也隨之更趨衰落，直至名存實亡。

公元393年羅馬皇帝狄奧多西一世宣佈基督教為國教，認為古奧運會有違基督教教旨，是異教徒活動，翌年宣佈廢止古奧運會。公元895年，拜佔廷人與歌德人的阿爾菲斯河發生激戰，使奧林匹亞各項設施毀失殆盡。公元426年狄奧多西二世燒燬了奧林匹亞建築物的殘餘部分。

公元522、511年接連發生的兩次強烈地震，使奧林匹亞遭到了徹底毀滅。就這樣順延了1000餘年的古奧運會不復存在了，繁榮的奧林匹亞變成了一片廢墟。