Kentaro Kobayashi skämtade om Förintelsen på vad som beskrivs som ett olämpligt sätt i en sketch 1998, som en del av ett uppträdande som komiker.
– Det har blivit känt att han under ett tidigare framträdande använde ett språk som hånade en tragisk del av historien, säger OS-chefen Seiko Hashimoto.
Ber om ursäkt
Kobayashi ber i ett uttalande om ursäkt, och kallar en del av replikerna i sketchen för extremt olämpliga.
"Det var från en tid då jag inte lyckades få skratt på det sätt jag ville, och jag tror att jag försökte att få folks uppmärksamhet på ett fördomsfullt sätt".
Han är den tredje framträdande personen som tvingas lämna ledningen för invigningen, innan den ens ägt rum. Tidigare har även kompositören Keigo Oyamada och den konstnärligt ansvariga Hiroshi Sasaki tvingats bort.
Den förstnämnde sedan en intervju blivit känd där han berättar hur han behandlade funktionshindrade klasskompisar illa, och den kreativt ansvarige Hiroshi Sasaki fick gå i mars sedan han föreslagit att en kvinnlig komiker skulle uppträda som en gris.
Japans premiärminister Yoshihide Suga säger, enligt Reuters, att han ser allvarligt på skandalerna inom organisationskommittén för OS och anser att Kobayashis skämt är oacceptabelt.
Suga anser dock att invigningen ska genomföras som planerat.
"Trångsynta attityder"
Att flera ledande personer för invigningen tvingas bort kort inpå spelen, samt att inte ens 1 000 personer kommer att se invigningen på plats, har gjort Tokyo-OS till en pr-katastrof, säger pr-veteranen Bob Pickard.
– Tokyo 2020 skulle bli ett skyltfönster för en global lansering av ett nytt Japan. I stället ser vi att arvet av gamla trångsynta japanska attityder fastnat i gamla fördomar och föråldrade stereotyper, säger han till Reuters.
OS invigs på Tokyos Olympiastadion klockan 13, svensk tid.
