Han lägger till att EU måste hitta ett annat, "snabbt och pragmatiskt", sätt att stödja Kiev på kort sikt.
– Det finns inga genvägar in i EU, säger Scholz och lägger till att ett undantag för Ukraina skulle vara orättvist mot länderna på västra Balkan som också har ansökt om medlemskap.
Ukraina har bett om ett snabbspår in i EU efter den ryska invasionen.
– Anslutningsprocessen är inte en fråga om några månader eller år, säger Scholz.
Frankrikes president Emmanuel Macron har tidigare sagt att det kommer att ta "årtionden" för en kandidat som Ukraina att gå med i EU.