IOK öppnade i förra månaden dörren för att ryska och belarusiska idrottare ska få tävla under neutral flagg redan i OS i Paris 2024.
En plan som fått kritik från EU-parlamentet.
Nu har över 30 regeringar, bland andra tunga OS-nationer som USA, Storbritannien, Frankrike, Kanada och Tyskland, samlat sina kritiska röster i ett brev till IOK, där de främst vill ha svar på en sak:
En tydligare definition av neutralitet.
Möte i London
"Så länge dessa grundläggande frågor, bristen på klarhet och konkreta detaljer om en fungerande 'neutralitetsmodell' inte tas upp, håller vi inte med om att ryska och belarusiska idrottare ska tillåtas tillbaka", skriver de i brevet enligt nyhetsbyrån AP.
Brevet blev resultatet av ett möte i London den 10 februari, och grundades på Ukrainas president Volodymyr Zelenskyj åsikt om att ryska idrottare inte ska vara med i Paris-OS nästa sommar.
"Vi hyser starka farhågor om hur genomförbart det är för ryska och belarusiska olympiska idrottare att tävla som 'neutrala', när de finansieras och stöds av sina stater", står det i brevet.
"Kopplingarna mellan ryska idrottare och den ryska militären är också av tydlig oro."
Portade i många sporter
Ryska och belarusiska idrottare har varit bannlysta i de flesta sporter sedan den ryska invasionen av Ukraina för knappt ett år sedan.
I brevet, som handlar om en tydligare definition av neutralitet från IOK, skriver regeringarna också det snabbaste sättet att få Ryssland tillbaka till idrotten är genom att avsluta kriget de startade.