Tampa Bay utökade ledningen till 2–0 sex och en halv minut in i den andra perioden.
Nio sekunder senare klev Jesper Bratt fram och reducerade.
– Jag tror att vi kände som en grupp att vi spelade bra hockey. Vi kom ut starkt, och uppenbarligen var det målet ett slags vändning för oss, säger Bratt om sitt första mål under matchen.
Bratt kvitterade sedan till 2–2 innan den andra perioden var slut och gjorde även 5–2 i öppen bur i slutet av den tredje perioden.
Bratt har i och med nattens hattrick gjort 30 mål under säsongen.
En annan målglad svensk var Mika Zibanejad, som gjorde 2–0 mot Nashville efter sju minuter och 22 sekunder i den första perioden.
Två minuter senare stod det 6–0 till Rangers, som då hade gjort mål på sex av sex målchanser. Det tangerar Rangers lagrekord från 1999 med flest antal mål i den första perioden.
– Vi har självförtroendet. Vi har känslan här inne, att vi vet att vi kan göra mål, säger Zibanejad efter matchen.
Den svenske centern inledde också gårdagens målfest mot Pittsburgh, som slutade 6–0 till Rangers.
– Jag tror inte, särskilt de två senaste matcherna, att vi har fuskat (med försvaret) för att spela offensivt, säger Zibanejad, som nu gjort mål i fyra matcher på raken.