Trots målvakten Emil Larmis tavla på Florian Chakiachvilis lösa skott från sarghörnet, vände hemmanationen till seger med 5–3.
Men det var jämnt in i det sista.
Det var först när Sakari Manninen satte 5–3 i tom bur med 1.02 kvar att spela som Finland säkrade segern.
Finland har startat ishockey-VM med vinster mot Tyskland och Frankrike, förluster mot Tre Kronor, efter straffar, och USA.
I Kanadas 5–1-seger mot Kazakstan, i grupp B, stod Lawson Crouse för två av målen när fullpoängaren i princip säkrades under matchens första 20 minuter.
25-åringen, som spelar för NHL-laget Arizona, satte 2–0 och 3–0 i perioden som Kanada vann med hela 4–1.