Abu Muhsin al-Masri dödades i en operation i Ghazni-provinsen i östra Afghanistan, skriver landets säkerhetstjänst NDS på Twitter.
Abu Muhsin al-Masri, som uppges vara av egyptiskt ursprung, står på USA:s federala polis FBI:s lista över de mesta eftersökta terroristerna i världen och han bedöms vara terrornätverkets andreman.
Han är åtalad i sin frånvaro i USA för stöd till terrorism och konspiration med syftet att döda amerikanska medborgare.
Förra månaden sade USA:s utrikesminister Mike Pompeo att färre än 200 al-Qaida-operatörer bedöms finnas kvar i Afghanistan.