Karim Khan var förhandstippad favorit bland de fyra kandidater som konkurrerade om att ta över det krävande jobbet efter gambiska Fatou Bensouda.
ICC:s medlemsstater hade inte lyckats enas om ett namn och saken avgjordes därför genom en omröstning vid FN:s högkvarter i New York.
Khan ledde nyligen en FN-utredning om brott begångna av terrorgruppen IS och har föreslagit specialrättegångar i likhet med processerna i Nürnberg efter andra världskriget.
Nuvarande Fatou Bensoudas mandat löper ut i juni. Hon har bland annat lett rättegångar som resulterat i fällandet av den ugandiske rebelledaren Dominic Ongwen och den kongolesiske milisledaren Bosco Ntaganda.
Hon har också väckt stor uppmärksamhet för beslutet att inleda en utredning om krigsbrott i Afghanistan. Att även misstänkta krigsbrott begångna av amerikanska soldater ska granskas fick USA:s ex-president Donald Trumps regering att införa sanktioner mot Bensouda.
USA och Israel har även kraftigt motsatt sig initiativet till en utredning om krigsbrott av israeliska styrkor och palestinska grupper.
ICC upprättades 2002 och har setts som en milstolpe i strävan efter ett internationellt rättssystem. Domstolen har 123 medlemsstater. Men flera viktiga länder, däribland USA, Kina, Ryssland och Indien, är inte med.
De övriga kandidaterna till posten som chefsåklagare var Carlos Castresana från Spanien, Fergal Gaynor från Irland och Francesco Lo Voi från Italien.