Zelenskyj framförde uppmaningen i ett samtal med kommitténs ordförande Thomas Bach, enligt det ukrainska presidentkansliet.
"Sedan februari har 184 ukrainska idrottare dött till följd av Rysslands agerande, och Ryssland använder själva sport i propagandasyfte", säger Zelenskyj i ett uttalande på onsdagskvällen.
I förra veckan sade Bach att samtal ska inledas med alla länders olympiska kommittéer för att finna en väg tillbaka för inkludering av enskilda utövare. Även USA är inne på linjen att välkomna tillbaka ryssar och belarusier om de inte stöttar kriget i Ukraina – och att de i så fall ska tävla under neutral flagg.
"Ett rättvist svar för en terroriststat kan bara vara fullständig isolering på den internationella arenan, i synnerhet gäller detta internationella sportevenemang", säger Zelenskyj i sitt uttalande.
Den ukrainska presidenten uppmanar också IOK att bidra till återuppbyggnaden av idrottsanläggningar i Ukraina som har förstörts av ryska styrkor under anfallskriget.