Ritsu Doan och Takuma Asano inledde båda på bänken mot Tyskland innan duon byttes in i den 71:a respektive 57:e matchminuten.
Det skulle visa sig vara lyckade byten.
Bara fem minuter efter sitt inhopp höll sig Doan framme på en retur och rakade in kvitteringen till 1–1.
Åtta minuter senare slet sig Asano fram i straffområdet och tryckte in 2–1 i nättaket.
Tyskland, vars mål prickades in av Ilkay Gündogan på straff i den första halvleken, gjorde vad de kunde för att åtminstone få med sig ett oavgjort i premiären, men förgäves. Japanerna stretade emot och vann skrällartat med 2–1.
– Vi förberedde oss väl och det var det som ledde oss till segern, säger Japans förbundskapten Hajime Moriyasu enligt AFP.
Gündogan till tyska ARD:
– Vi gjorde det för enkelt för Japan, det här får inte hända oss, säger han och får medhåll av Manuel Neuer.
– Det här är en stor besvikelse. Vi bidrog till att göra motståndaren starkare, säger Neuer.
Japans seger var turneringens andra stora skräll efter att Saudiarabien besegrat Argentina med 2–1 på tisdagen.
För Tyskland var VM-premiären en stor missräkning, framför allt för att tyskarna är ute efter revansch då VM i Ryssland senast tog slut redan i gruppspelet.
Spanien och Costa Rica tillhör också gruppen.
