Le Graët anklagas för sexuella trakasserier och får lämna sin post tills utredningen är klar, preliminärt om två veckor.
Under tiden ersätts han av förbundets vice ordförande Philippe Diallo.
Även generalsekreteraren Florence Hardouin stängs ute från sin arbetsplats medan utredningen pågår.
Le Graët förlängde nyligen förbundskaptenen Didier Deschamps kontrakt till och med juli 2026. I samband med det uttalade han sig nedlåtande om spelarlegendaren Zinedine Zidane när han fick frågor om Zidane och förbundskaptensjobbet.
– Jag kan inte bry mig mindre om Zidane, sade Le Graët bland annat.
Han bad senare om ursäkt för sina uttalanden.
Men stormen kring 81-åringen tog ny fart när spelaragenten Sonia Souid i en intervju med tidningen L'Equipe anklagade Le Graët för olämpligt uppträdande under flera år.
Souid berättade att Le Graët upprepade gånger försökte närma sig henne under åren 2013–2017 och att han enbart var sexuellt intresserad av henne.
Det fick Patrick Anton, chef för det franska fotbollsförbundets etiska råd, att i måndags uppmana Le Graët att lämna sin post.
Idrottsministern Amélie Oudéa-Castéra menar att Le Graët "skadat bilden av vårt land".