A Magyar Olimpiai Bizottságot, az első újkori olimpiára készülve, 1895. december 19-én alapították meg a Nemzeti Torna Egylet épületében. Ekkor még Olimpiai Játékokat Előkészítő Bizottságnak hívták. A bizottság felállítását Kemény Ferenc szorgalmazta, aki Pierre de Coubertin-nel együtt tanult a Sorbonne-on, s tevékenyen részt vett az ókori olimpiai játékok újjáélesztésében. Kemény Ferenc tagja volt az 1894. június 26-án megalakított Nemzetközi Olimpiai Bizottságnak. Tanulmányt írt a témában „A modern olympiai játékok” ill. a Pester Lloyd hasábjain az Olympiai Revidia címmel. Megpróbálta a közvélemény figyelmét az olimpia ügye iránt felkelteni. Munkája eredményeként létrejött az ausztrál, az amerikai, a francia és a görög olimpiai bizottság megalakulása után a magyar bizottság is.

A MOB első tisztikara a következő tagokból állt: elnök dr. Berzeviczy Albert (NTE), társelnök dr. Gerenday György (MAC), titkár Kemény Ferenc (NTE), Bély Mihály (BBTE), Bockelberg Ede (MTK), Csik Imre (MAC), dr. Czölder János (BBTE), Dobák Emil (MAC), Fazekas János (III. ker. TVE), Iszer Károly (BTC), Maurer János (NTE), dr. Ottó József (BTC), dr. Perger Ferenc (NEE), Ruda Győző (III. ker. TVE), Steiner Hugó (MTK), dr. Szohner Lajos (NEE), és dr. Vetsey István (NTE).

A megalakult bizottság először is pénzt kért a minisztertől 1000 forintnyi összegben, hogy anyagilag támogathassa bajnokait, majd próbaversenyeket írt ki atlétikában, tornában és úszásban. A versenyek alapján hat sportolót delegált az olimpiai csapatba. Az olimpiai küldöttség végül nyolc taggal és Kemény Ferenc vezetésével elindult Athénba és Hajós Alfréd kiváló úszó olimpiai aranyérmével tért haza.

1899-ben újjáalakult a MOB s innentől Országos Olimpiai Nagybizottság néven látta el feladatait. Ez az új szervezet készítette már fel sportolóinkat az 1900-as párizsi olimpiára.

1904-ben Berzeviczy Albert lemondott elnöki tisztéről, így a bizottságot ismét át kellett szervezni. Nevét újra megváltoztatták: Magyar Olimpiai Nagybizottságra és elnökének Széchenyi Imre grófot választatták. A kultuszminiszter egy 17 paragrafusból álló Szervezeti Szabályzatot fogalmazott meg a bizottságnak, ami azt mutatja, hogy a szervezet még nem működött önállóan. A St. Louis-i olimpiára széleskörű gyűjtést szerveztek a sportolók javára, mivel költségeik a nagy távolság miatt óriási összegeket tettek ki. A magyar delegációt ismét Kemény Ferenc vezette az olimpiára.