Mannen, som enligt brittisk polis är 57 år, greps under tisdagen i Potsdam nära Berlin. Han tros ha spionerat sedan "senast" i november i fjol.
Åklagarna uppger att mannens hem och arbetsplats har sökts igenom. Under onsdagen ska han ställas inför en utredningsdomare där det ska beslutas om han ska häktas.
Gripandet är ett resultat av ett samarbete mellan tyska och brittiska myndigheter.
Den brittiska ambassaden i Berlin ligger bara runt 250 meter från Rysslands ambassad.
Christofer Burger, talesperson vid Tysklands utrikesdepartement, säger att Tyskland tar fallet "väldigt allvarligt", och att "spioneri av en nära allianspartner på tysk mark är oacceptabelt. Därför kommer vi att följa den federala åklagarens utredning noggrant".
Varken ryska säkerhetstjänsten FSB, underrättelsetjänsten SVR eller den ryska ambassaden i Tyskland har kommenterat uppgifterna.
Inte heller den brittiska ambassaden i Berlin har uttalat sig.
Tyskland har de senaste åren gripit flera personer anklagade för att ha spionerat för Rysslands räkning, men att en medborgare i ett nära allierat land grips är ovanligt.