1895-ben Berzeviczy vezetésével jött létre a Magyar Olimpiai Bizottság, aminek első elnökeként nemcsak azt érte el, hogy Magyarország részt vegyen az első modern kori olimpiai játékokon, hanem azt is, hogy a magyar sportolók ne az Osztrák-Magyar Monarchia olimpikonjaiként, hanem a Magyar Királyság versenyzőiként vegyenek részt az 1896-os athéni nyári játékokon, ahol hét sportolónk hat sportágban képviselte hazánkat, akik összesen hat olimpiai érmet szereztek, amivel a nem hivatalos éremtáblázaton Magyarország a 6. helyen zárt.
Berzeviczy Albert elkötelezett támogatója volt az olimpiai játékok Budapestre hozatalának. 1895-ben, amikor úgy tűnt, hogy financiális okok miatt Athén mégsem tudja megrendezni az első nyári játékokat, azért dolgozott, hogy a görög főváros helyére Budapest lépjen rendezőként. 1911-ben, a Magyar Tudományos Akadémia elnökeként az intézmény Széchenyi téri székházában, Berzeviczy otthont adott a Nemzetközi Olimpiai Bizottság (NOB) 14. Kongresszusának, ahol bejelentették, hogy a magyar főváros megpályázza az 1916-os olimpia megrendezését. Egy évvel később a stockholmi olimpián a NOB úgy döntött, hogy Berlin kapja meg a négy évvel későbbi nyári játékokat, és elvi döntést hozott arról, hogy 1920-ban Budapest lesz a házigazda. 1914 június 20-án, a párizsi ülésén ezt a döntését megerősítette a NOB. Nyolc nappal később Szarajevóban Gavrilo Princip lelőtte Ferenc Ferdinánd trónörököst, és ezzel kitört az első világháború, amely aztán messze sodorta Budapestet az olimpia megrendezésének lehetőségétől. A Nagy Háború veszteseként Magyarország végül részt sem vehetett az 1920 április 20. és szeptember 12. között Antwerpenben megrendezett olimpián, helyette a hazai közvélemény figyelmét a trianoni békediktátum kötötte le.