Kerr, Chelseas skytteligavinnare i den engelska ligan den senaste säsongen, gjorde 2–0-målet i den 33:e minuten efter att Tameka Yallop nätat 13 minuter tidigare.
På stopptid fick Nya Zeeland ett tröstmål gjort av Gabi Rennie.
På lördag möter Sverige Australien och dess svenske förbundskapten Tony Gustavsson i Saitama. Kerr ser fram emot matchen och inspireras av att Sverige tidigare under tisdagen spelade ut regerande världsmästaren USA med 3–0 på Tokyostadion.
– Sverigematchen visar bara att alla kan slå alla. Damfotbollen är så jämn. Varje lag på topp-20 (på Internationella fotbollsförbundet Fifas världsrankning) kan slå varandra. Det finns ingen självskriven match, speciellt under OS eftersom att det är en sådan snabb turnering, säger Sam Kerr.
Ettan och tvåan i damernas tre OS-fotbollsgrupper går till kvartsfinal, tillsammans med de två bästa treorna.
I en OS-förberedande landskamp i juni spelade Sverige och Australien 0–0. Då, precis som nu, leds australiskorna av svenske förbundskaptenen Tony Gustavsson. Han, som i VM i Frankrike 2019 var assisterande i USA, imponerades av Sverige tidigare under onsdagen.
– Sverige spelade imponerande bra. Den första halvleken (1–0) kan ha varit en av de bättre som jag någonsin har sett dem spela, om jag ska vara ärlig, säger han och blickar framåt lördagens möte.
– Vi vet att det kommer att bli en tuff match.