Jerebko har tidigare spelat för stadsrivalen Chimki, men lämnade efter en konflikt och har därefter gått klubblös i över ett år.
Kontraktet med CSKA gäller säsongen ut.
"Det är en ära att gå till en sådan historisk klubb som CSKA. Jag har väntat på en möjlighet att få spela basket igen och jag är väldigt glad över att ansluta till laget", säger Jerebko i ett uttalande.
"Behöver ha en diskussion"
Internationella basketförbundet, Fiba, har stängt av alla ryska lag och domare från spel i internationella turneringar, ett beslut som det svenska förbundet ställt sig bakom.
Det är chansen att få speltid som lockat Jerebko. Det berättar SVT-experten Nick Rajacic i podcasten "Bänkvärmarna".
Svenske stjärnann är klubblös sedan ett drygt år tillbaka och kontrakten med CSKA Moskva ger honom chansen att komma i form till VM-kvalmatcher som spelas i sommar.
– Jag frågade honom såklart om all kritik han kommer få och om han verkligen förstod vilka signaler det sänder och han sa att han kan ta det, han kan ta det för han måste vara redo för landskamperna, säger Nick Rajacic, enligt Aftonbladet.
Fredrik Joulamo, generalsekreterare på Svenska basketbollförbundet, säger att han inte visste att Jerebko var på väg till Ryssland.
– Vi behöver ha en diskussion om detta, både internt och med Jonas, säger han till TT.
Joulamo säger att förbundet aldrig lägger sig i var svenska spelare spelar på klubblagsnivå. Under våren är det inga landslagssamlingar, däremot är Jerebko enligt Joulamo aktuell för uttagning i sommar.
34-åringen spelade för Sverige senast i februari, då man VM-kvalspelade mot Kroatien. För ett år sedan gjorde han comeback i blågult efter att ha nobbat landslaget i 13 år för att prioritera NBA-spel.
Vill till NBA
Han menar att det är för tidigt att uttala sig om eventuella konsekvenser Jerebkos klubbval har för landslagsspel. Joulamo är dock tydlig med var det svenska förbundet står i frågan om kriget i Ukraina.
– Vi har ställt oss bakom RF:s och regeringens linje och även beslut från Fiba. Vi har varit väldigt tydliga med var vi står i frågan och har uttalat stöd för Ukraina, säger han.
Jerebko har tidigare varit öppen med sin vilja att återvända till NBA, där han spelat tio säsonger.
– Europa känns inte rätt just nu, sade han i februari.
– Jag har några år kvar på högsta nivå och det är där (USA) jag vill spela. Men jag åker inte tillbaka och gråter om det inte kommer några erbjudanden nu.
CSKA leder den ryska ligan och har meriter från Euro League.