Apspriežot III olimpiādes rīkošanas jautājumu, Starptautiskā Olimpiskā komiteja nolēma to organizēt Amerikas Savienoto Valstu teritorijā, jo šī valsts parādīja labus rezultātus divās iepriekšējās spēlēs. Sākotnēji viņi vēlējās rīkot olimpiādi Čikāgā vai Ņujorkā, taču rezultātā izvēle krita uz mazo ostas pilsētu Sentluisu.
III olimpiāde Sentluisā kopā ar Parīzes olimpiskajām spēlēm notika pasaules izstādes ietvaros. Tomēr izstādes vietējā vadība neuzskatīja to par konkurentu, bet, gluži pretēji, visos iespējamos veidos mēģināja izmantot spēles saviem reklāmas mērķiem. Turklāt organizatori atkārtoja dažas Parīzes 1900. gada vasaras olimpisko spēļu kļūdas. Piesaistīšanās pasaules izstādei dēļ sacensības tika nobīdītas otrajā plānā, un pati Olimpiāde ilga gandrīz 5 mēnešus (1904. gada 1. jūlijs - 23. novembris). Daudzas sacensības notika dažādu profesionālu organizāciju vadībā, tomēr, neskatoties uz to, tām visām tika piešķirts olimpisko disciplīnu nosaukums.
Saskaņā ar SOK datiem Sentluisas vasaras spēlēs piedalījās 12 valstis. Vienīgā valsts, kas pirmo reizi piedalījās konkursā, bija Dienvidāfrika. Salīdzinot ar Parīzes olimpiskajām spēlēm, tajā iesaistīto valstu skaits ir dramatiski samazinājies. 13 štati, kas piedalījās Parīzes vasaras spēlēs, ekonomisku iemeslu dēļ nevarēja ierasties Sentluisā. Krievija, kas tajā laikā karoja ar Japānu, sacensībās nepiedalījās.
III vasaras olimpiādē kopumā piedalījās 651 cilvēks, tostarp 6 sievietes. Viņi sacentās par 94 balvu komplektiem 18 sporta veidos. Visvairāk bija Amerikas Savienoto Valstu komanda, viņi spēlēs pārstāvēja 533 cilvēkus. Daudzos sporta veidos (bokss, cīņas, ūdenspolo, loka šaušana un teniss) uzstājās tikai amerikāņu sportisti, tāpēc spēles skaidri parādīja valsts pārākumu.
Sentluisā viņi pirmo reizi sāka apbalvot trīs, nevis divus sportistus, kuri uzrādīja labāko rezultātu. Sacensību galvenajam uzvarētājam tika piešķirta zelta medaļa; sportists, kurš ieguva otro vietu - sudrabs; un trešajai vietai tika piešķirta bronzas medaļa. Šī tradīcija ir saglabājusies līdz mūsdienām.
Neoficiālajā komandu turnīrā iesaistītās valstis tika izvietotas šādi: I vieta - ASV (78 zelta, 82 sudraba, 78 bronzas medaļas), II vieta - Vācija (4 zelta, 4 sudraba, 5 bronzas medaļas), III vieta - Kuba (4 zelta, 2 sudraba, 3 bronzas medaļas).
