從組織上來講，奧林匹克運動有四個支柱。

第一是國際奧委會。它是由100多位委員所組成。一直到1997年之前，所有國際奧委會委員，都是個人制的委員。國際奧委會強調，國際奧委會的委員，並不是各國派到國際奧委會的代表，反過來是國際奧委會派到他所在國家去的大使。它強調委員不受宗教、政治、商業利益的影響，維護奧林匹克理想和它的宗旨、章程，進行獨立的思考和獨立的行動，不受外界的影響。1997年以後，逐步進行了一些改革，除了這些個人制的委員外，又增加了一些奧林匹克所組成的其他三根支柱的代表。第二根支柱是國際單項組織。比如田徑、游泳、足球等組織。夏季被承認的專案有28個，冬季有7個，除了這35個以外，還有45個被承認的，但不是國際奧林匹克運動會專案的組織，如武術。第三是國家和地區奧委會。現在全世界已經有203個國家和地區設有奧林匹克委員會。???? 國際單項組織和地區組織在國際奧委會中的代表人，由國際奧委會根據各個專案不同發展情況和地位，各國和地區發展的地位，由國際奧委會主動來選擇。這兩部分委員任期隨著他在本單位職務的變動而終止。為了加強國際奧委會委員的迴圈，新鮮血液的進入，又規定退休年齡是70歲。第四根支柱就是運動員。隨著社會的發展，運動員的地位越來越重要，所以從1999年開始，國際奧委會決定在運動員裡選出國際奧委會的委員，這部分的委員在奧運會期間由運動員直接選舉。