倫敦奧運會前，1906年曾在雅典舉行一次非正式的奧運會。1896年第一屆奧運會后。國際奧委會否決了希臘想把雅典作為奧運會固定會址的要求，但答應希臘可在兩屆奧運會之間召開一次類似奧運會的運動會，即所謂"中間奧運會"或"屆間奧運會"。由于種種原因，迄今希臘只在1906年現(xiàn)代奧運會復興十周紀念時，于雅典主辦了一次
這樣的運動會。1904年圣路易奧運會時，歐洲國家許多選手只能望洋興嘆。因此，當希臘提出1906年召開非正式奧運會時，許多國家躍躍欲試，反響強烈，國際奧委會也積極支持希臘的建議。十年前，雅典承辦了首屆奧運會，場地設施不需興建。同時東道主再次使用了發(fā)行郵票及其他籌集款項辦法順利解決了缺乏經(jīng)費的因難。大會于4月22日到5月2日舉行，參賽的有20個國家的884名運動員，其中女選手7人，希臘打破祖先留下來的陋習，首次派出婦女參中了世界性比賽7名女選手希借占了6名，代表團數(shù)最多的也是希臘，男女共306人。圣路易奧運會缺席的法國，這次參賽選手僅次于希臘，為76人，意56人，英52人、丹53人、德52人等歐洲國家選手隊伍都在50人以上。以往各屆運動會，美國運動員都是由各大學、俱樂部或體育協(xié)會自行派，這次來雅典的34名選手，首次由美國奧委會選拔產(chǎn)生。埃及、芬蘭是第一次派隊參賽。
運動會比賽項目有田徑、游泳、水球、擊劍、體操、賽艇、自行車、足球、古典式摔跤、網(wǎng)球和射擊。因為運動會是非正式的，沒有列入奧運會屆次中，所獲獎牌，一般也不統(tǒng)計在國家或個人所獲奧運會獎牌數(shù)內(nèi)。
申請主辦第四屆奧運會的有羅馬、米蘭、柏林和倫敦四個城市。柏林由于得不到政府支持被迫撤消了申請，經(jīng)國際奧委會秘密投票表決，會址選在羅馬。由于多次地震和火山爆發(fā)意大利經(jīng)濟蒙受巨大損失。1906年雅典運動會期間，羅馬提出，因財政困難，無力興建體育設施，宣布放棄主辦權(quán)。時間緊迫，奧運會又無法延期。國際奧委會求助于倫敦。英國考慮再三，答允運動會在倫敦如期舉行。立即成立了奧運會籌委會，用較快的速度，在倫敦西區(qū)一個叢林地帶興建了一座可容7萬余觀眾的體育場，新造了一個長100米、寬15米的游泳池，以及自行車場等等。
天幕那天，氣候不佳，在霧迷天，雨下個不停。國王、王后及國際奧委會官員出席了大。這屆奧運會首次規(guī)，開幕式上各代表團應服裝統(tǒng)一，在本國國旗引導下列隊入場，并規(guī)定，旗手通過英國國王愛德華七世觀禮臺前時，就將旗幟下垂，以示致敬。由于國旗問題在開幕式上引起了一些糾紛。首先，美國、瑞典代表團進入會場后，發(fā)現(xiàn)會場沒有懸掛他們的國旗，向組委會提出了抗議。接著，擔任美國旗手的美籍愛爾蘭人不愿向愛德華七世致敬，高舉大旗通過了主席臺，引起了一陣騷動。此外，與俄國為一個代表團的芬蘭選手（當時俄、芬蘭為一個代表團，但單獨參加比賽）認為在帝俄旗幟下入場是一種恥辱，因此拒絕參加開幕式，開幕式雖出現(xiàn)了一些糾紛，但某些作法，如代表團著統(tǒng)一服裝，在各自的國旗引導下列隊入場等，為以后各屆開創(chuàng)了先例。
本屆參賽國家共22個，運動員2034人，其中女子36人，總?cè)藬?shù)比前三屆的總和還要多，東道主派出了最龐大的選手團，達710人；法國次之220人；瑞典156人，居第三位，首次參賽的有冰島、新西蘭、俄國、土耳其和芬蘭。1900年，亞洲的印度曾有一名運動員隨同英國隊參加了巴黎奧運會，使歐美、亞、大洋洲均有代表參加當屆運動會，只是缺少非洲國家；1904年，非洲與歐、美大洋洲均有代表，但亞洲缺席。本屆土耳其隊與會，使奧運會首次五洲代表聚會，對奧林匹克日益國際化具有歷史意義。本屆共設有24個大項，首次列入的有曲棍球、水上摩托和一些奇異不常見的項目，如熱杰球，這是一種法古老的類似網(wǎng)球打法的球。這項比賽在奧運會上壽命不長，以后只在第七屆列入過。
大會還第一次列入了花樣滑冰。比賽是在人工冰場進行的。女子參加的項目只有網(wǎng)球、射箭和花樣滑冰。倫敦奧運會田徑賽共27個項目，創(chuàng)16項奧運會紀錄，其中有5項高于當時的世界最佳成績。在項目上也有所翻新。
