Den tidigare japanske premiärministern Mori ber om ursäkt och säger att han nu avgår som ordförande.
– Mitt olämpliga uttalande har orsakat så mycket kaos.
Internationella olympiska kommitténs (IOK) ordförande Thomas Bach säger i ett uttalande att han respekterar och förstår Moris skäl till avgången.
"Samtidigt vill vi tacka honom för hans enastående bidrag till att göra Tokyo till den bäst förberedda OS-staden någonsin", säger Bach.
Det är oklart vem som tar över. Mori, 83, hade själv bett chefen för OS-byn, den före detta fotbollslegendaren Saburo Kawabuchi, 84, att ersätta honom. Men efter kritik mot att ännu en 80-plussare skulle ta över, lär det inte bli så.
– Jag tror inte att en äldre man som ersättare skulle övertyga allmänheten, säger en källa inom Tokyo-organisationen till tidningen Asahi Shimbun.
OS-ministern tar över?
Enligt tv-bolaget Fuji News Network ska Japans regering försöka stoppa utnämningen av Kawabuchi.
– Vi kan inte ge sken av någon förändring om vi inte tillsätter en kvinna eller en yngre person, säger en regeringskälla till FNN, och tillägger att många vill att det ska bli en kvinna.
Enligt lokala medier kan Japans OS-minister Seiko Hashimoto vara en kandidat.
Hon säger säger att ingenting är beslutat.
– Organisationskommittén ska fatta ett beslut efter att ha lyssnat på många människor. Det är angeläget att gå genom en formell procedur, säger hon.
Skarp kritik
Mori hamnade i blåsväder förra veckan då han på ett möte sade att kvinnorna i styrelsen för OS pratade för mycket, betedde sig olämpligt och var emot den olympiska andan.
Uttalandet har fått skarp kritik både i Japan och i övriga världen. Bland annat kallade Internationella olympiska kommittén, IOK, uttalandena för "väldigt olämpliga".
Flera hundra volontärer har hoppat av sina OS-uppdrag i protest, kvinnliga japanska politiker har protesterat genom att klä sig i vitt och stora sponsorer har kritiserat uttalandena.
Moris avhopp kommer samtidigt som OS-arrangörerna förbereder sig för att vara värd för sommarens spel som sköts upp från i fjol. Omfattande regelverk har tagits fram för att kunna hålla spelen under en pandemi.
OS-invigningen är planerad till den 23 juli.