Det var på ett möte med den japanska olympiska kommittén som Mori sade att kvinnorna i styrelsen pratade för mycket, betedde sig olämpligt och var emot den olympiska andan.
– Om vi ökar antalet kvinnliga styrelseledamöter måste vi se till att deras taltid begränsas något. De har svårt att avsluta, vilket är irriterande, sade Mori, enligt Reuters.
– Vi har sju kvinnor kommittén, men alla vet sin plats.
Efter det kallade Mori till en extrainsatt presskonferens där han bad om ursäkt.
– Mitt yttrande var olämpligt och emot den olympiska och paralympiska andan. För det är jag djupt ångerfull och jag vill ta tillbaka mitt uttalande. Jag vill också be om ursäkt till de som jag har upprört.
Uttalandet har rört upp en känslostorm i sociala medier och hashtagen "Snälla avgå, Mori" trendade på Twitter i Japan under torsdagen.
Men Mori säger själv att han inte har några planer på att avgå.
– Jag har jobbat hårt och hjälpt till här under sju år. Om folk säger att jag är i vägen... Då kanske de kan sopa bort mig, säger han.
OS-ministern Seiko Hashimoto sade under torsdagen att styrelsen kommer att ta ett besluta ifall Mori behöver lämna sin post.