Förslaget har mött motstånd från såväl Europeiska fotbollsförbundet, Uefa, som enskilda tränare och spelare.
Nu går IOK till angrepp mot Internationella fotbollsförbundet (Fifa).
"Den ökade frekvensen och tajmningen för VM kommer att krocka med andra stora internationella sporter och undergräva mångfalden och utvecklingen", skriver IOK i ett pressmeddelande.
Men det finns även andra farhågor.
"Ökningen av herrevenemang i kalendern kommer att vara utmanande för utvecklingen av damfotbollen", menar IOK.
Ett beslut om fotbolls-VM ska tas på Fifa-kongressen nästa år.