Athénban - amely 1896 után most másodszor adhatott otthont a legjobb sportolók seregszemléjének - minden korábbinál szigorúbb doppingvizsgálatokat végeztek, ennek is tulajdonítják, hogy már a nyitóünnepség előtt botrányba keveredett két görög atlétasztár, Kosztasz Kenterisz és Katerina Thanu, akik a gyanú szerint a szúrópróbaszerű tesztet igyekeztek elkerülni egy állítólagos motorbalesetet színlelve, majd visszaléptek az indulástól. Pozitív lelete miatt megfosztották aranyérmétől az ókori olimpiák helyszínén, Olümpiában rendezett női súlyemelőverseny győztesét, az orosz Irina Korzsanyenkót, a görög Leonidasz Szampanisz súlyemelőnek pedig a bronzérmétől kellett búcsút vennie.
A magyar csapat a doppingügyek miatt két arany- és egy ezüstéremmel lett szegényebb a pályán elért eredményekhez képest. Annus Adrián kalapácsvető hosszas huzavona után kénytelen volt visszaküldeni aranyérmét, Fazekas Róbert diszkoszvető pedig át sem vehette azt. Annus, akinek vizeletében a verseny után nem találtak tiltott szer használatára utaló anyagot, kibújt az utólagos doppingellenőrzés alól, Fazekas pedig nem volt képes a verseny után az előírásoknak megfelelő mennyiségű mintát produkálni. A hazai szövetség Annust felmentette, Fazekast pedig csupán egy évre tiltotta el. Elvette a NOB a súlyemelő Gyurkovics Ferenc ezüstérmét is, akinél a verseny után anabolikus szteroidot mutattak ki, mint Kecskés Zoltánnál, aki már a dobogóra lépés előtt lebukott. A szintén súlyemelő Kovács Zoltán sérülésre hivatkozva visszalépett, majd képtelen volt vizeletmintát adni. Az akkori sportminiszter, Gyurcsány Ferenc és a Fidesz-alelnöki posztot is betöltő Schmitt Pál, a Magyar Olimpiai Bizottság elnöke kölcsönösen egymást tették felelőssé a magyar doppingügyekért. A magyar csapat végül is nyolc arany- (a vívó Nagy Tímea, az öttusázó Vörös Zsuzsa, a sportlövő Igaly Diána, a kajakos Janics Natasa, illetve a Kovács Katalin-Janics duó, a férfi kajak négyes, a birkózó Majoros István és a férfi vízilabda-válogatott) és nyolc ezüst-, valamint hat bronzéremmel az éremtáblázat tizenharmadik helyén végzett.