– Det vore det rätta för honom, säger Scholz i en intervju med public service-kanalen ZDF.
Schröder, som var förbundskansler mellan 1998 och 2005, är i dag styrelseordförande i den ryska statliga oljejätten Rosneft. Han leder även aktieägarna i gasledningsprojektet Nordstream 2 och tillträder en styrelsepost inom Gazprom i juni.
Hittills har han vägrat klippa banden med Ryssland. Det har lett till att medarbetare lämnat honom och att fotbollsklubben Borussia Dortmund dragit in hans hedersmedlemskap. Socialdemokraterna i Tyskland, där han är medlem, har också kritiserat honom.
Olaf Scholz säger att han hoppas att Schröders vänner nu kan få honom på bättre tankar.
– Jag hade ett gott samarbete med honom när han var aktiv inom politiken, därför är det viktigt för mig att han tar det här beslutet, säger Scholz.
Gerhard Schröder, som anses vara personlig vän med president Vladimir Putin, skrev under sina sista veckor som kansler under avtalet för den första Nordstream-ledningen.
Tyskland avbröt i samband med invasionen av Ukraina tillståndsprocessen för den färdigbyggda Nordstream 2.