"Under grässäsongen har jag fått ett bakslag med mitt knä, och jag accepterar att jag måste dra mig ur OS i Tokyo", skriver schweizaren på Instagram.
Federer är inte den enda stjärnspelaren som nobbar sommarspelen.
Sedan tidigare har Rafael Nadal, Dominic Thiem, Stan Wawrinka, Nick Kyrgios, Serena Williams, Bianca Andreescu och Simona Halep meddelat att de inte kommer att delta, precis som sverigeettan Mikael Ymer.
"Jag är väldigt besviken eftersom det varit en ära och höjdpunkt på min karriär varje gång jag representerat Schweiz. Jag har redan börjat min rehabilitering och hoppas vara tillbaka på touren senare i sommar", skriver Federer.
39-åringen har deltagit i OS både 2000, 2004, 2008 och 2012. I Peking 2008 blev det ett dubbelguld och vid sommarspelen i London tog han silver i singel.
OS i Tokyo invigs den 23 juli.