Lai arī līdzīga bumbas spēle tiek pieminēta pat senatnes dzejoļos, oficiālais handbola dzimšanas gads tiek uzskatīts par 1898. gadu. Tad komandu sacensības ar gandrīz mūsdienīgiem noteikumiem tika iekļautas vienas no Dānijas skolu fiziskās audzināšanas programmā. Dāņiem tiek piedēvēta arī pati ideja spēlēt ar rokām ar bumbu un vārtiem - šīs valsts spēlētāji to izmantoja, lai ziemā uzturētu sevi formā.
Pirmoreiz handbols Olimpisko spēļu programmā parādījās pēdējās vasaras spēlēs pirms Otrā pasaules kara sākuma. Berlīnē spēlēja vienpadsmit spēlētāju komandas, kuras turnīrā uzvarēja mājinieki. Šis sporta veids olimpiskajās sporta brīvdienās atgriezās tikai 36 gadus vēlāk. Un atkal tas notika Vācijā - Minhenē sacentās vīriešu komandas, kuras saskaņā ar mūsdienu noteikumiem veidoja 7 spēlētāji. Tad par uzvarētāju kļuva Dienvidslāvijas izlase. Jau nākamajā Olimpiskajās spēlēs Monreālā, Kanādā, vīriešu handbola turnīram tika pievienots sieviešu handbola turnīrs. Tajā gadā PSRS komandas izrādījās spēcīgākas par konkurentēm gan sieviešu, gan vīriešu konkurencē.
Padomju sieviešu izlase nākamajā olimpiskajā turnīrā uzvarēja 1980. gadā Maskavā, un Padomju Savienības komandas četras reizes izcīnīja zelta medaļas un vienreiz kļuva par sudraba un bronzas medaļniecēm. Tas ir labākais rādītājs starp visām valstīm, kas piedalās olimpiskajos handbola turnīros. Pēc Padomju Savienības pastāvēšanas beigām uzvaras tradīciju vispirms turpināja komandas, kuru sastāvā bija bijušo PSRS republiku spēlētāji - katra izcīnīja vienu zelta un vienu bronzas medaļu. Tad vasaras spēlēs diezgan veiksmīgi spēlēja Krievijas izlases, kuras izcīnīja vienu katras ranga medaļu.
Starp citām valstīm visaugstākos rezultātus sasniedza Dienvidslāvija, kas olimpiādēs izcīnīja piecas dažādu konfesiju medaļas. Pēc šīs valsts sabrukuma viena no bijušajām republikām turpināja savas tradīcijas - Horvātijas izlases pievienoja sarakstam vēl divas zelta godalgas. Gan Krievijai, gan Horvātijai ir visas iespējas papildināt cūciņu bankas ar XXX vasaras olimpisko spēļu medaļām Londonā - šo valstu vīriešu un sieviešu handbola komandas ir saņēmušas tiesības piedalīties 2012. gada turnīros.
