Till burop fick svenskarna lägga sina fem straffar.
Emil Bemström blev segerskytt och målvakten Magnus Hellberg blev också stor hjälte när han höll rent i straffläggningen.
Sverige behåller därmed ledningen i gruppen och är nu en poäng före Finland.
– Vi har inte förlorat en match än. Det tar vi med oss, säger Emil Bemström.
Bemström blev enda målskytt i straffläggningen när han satte den lågt till höger bredvid Finlands Harri Säteri.
– Det blev till att skjuta i gubbhörnet. Skönt att den gick in, säger han.
Fullsatt hemmaarena
Det var smockfullt, 11 635 åskådare, som vanligt i Nokia arena under detta VM när Finland spelar.
Hemmafansen hoppades på en festlig kväll och att den dystra Sverigesviten äntligen skulle brytas. Sverige hade aldrig förlorat en VM-match mot "Lejonen" i Finland och hade tre segrar och fem oavgjorda genom tiderna.
Senaste VM-matchen på finländsk mark var en historisk svensk seger i kvartsfinal i Helsingfors 2003 när Mats Sundin, Peter Forsberg & Co vände 1–5 till 6–5-seger.
Aggressivt Sverige
Svenskarna inledde aggressivt och lät inte finländarna få någon tid. Ledningsmålet kom efter 11.38 när Adam Larsson tog köksvägen och överlistade hemmamålvakten Harri Säteri. Landslagsdebutanten och Dallascentern Jacob Peterson kom direkt från flyget och spelade fram.
– Peterson kom runt på kanten och man mot man är rätt sårbart så får vi rätt rörelsemönster så blir det bra, säger Adam Larsson i en pausintervju till Viaplay.
Även Carl Grundström, Los Angeles, anlände på onsdagen och gjorde VM-debut.
Målvakten Magnus Hellberg fick också en kanonstart på matchen och gjorde vassa räddningar när Finlands fruktade spel i numerärt överläge gav chanser.
Snabb vändning
Men allt svängde på två minuter i början av den andra perioden.
Förre HV-backen Mikko Lehtonen var huvudpersonen. Först sköt han 1–1 efter 3.38 på ett skott som Hellberg tappade in, sedan slog han en perfekt genomskärare till en fri Sami Vatanen som enkelt gjorde 2–1 vid bortre stolpen efter 5.39.
Svenskarna var pressade i andra perioden, många felpass gjorde att hemmalaget kunde vända snabbt och skapa lägen.
– Vi slarvar lite i andra och de får lite kontringar på oss. Första och tredje är jag väldigt nöjd med, säger Emil Bemström.
Det blev bättre i tredje perioden och efter ett anfall som lagkaptenen Oliver Ekman-Larsson iscensatte kunde Joel Kellman styra in 2–2 på Erik Gustafsson skott.