Svenske Mika Zibanejad inledde målskyttet på hemmaarenan Madison Square Garden 4.09 in i första perioden. Det tog drygt tio minuter innan Washington kvitterade genom Nicolas Aubé-Kubel.
Bara 16 sekunder senare tog New York tillbaka ledningen genom ytterligare ett mål av Zibanejad som satte 2–1 assisterad av Artemij Panarin.
Första perioden slutade 3–1 till Rangers efter ett mål i 19:e minuten av Patrick Kane.
Andra perioden bjöd på ett mål var för lagen vilket även blev utdelningen i tredje.
Slutresultatet 5–3 betyder att New York Rangers har vunnit tre av sina senaste fyra matcher.
Riktigt bra
Trots vinsten var Zibanejad inte helt nöjd med lagets insats i matchen.
– Den första perioden var riktigt bra. Men bitvis i andra perioden spelade vi inte så bra hockey och fick kriga, sade Mika Zibanejad efter matchen.
Han tyckte dock att matchen, och framför allt första perioden, var ett steg framåt för laget och förhoppningsvis något som går att bygga på framöver.
– I första perioden visade vi vad vi kan. Vi spelade väldigt direkt och höll pucken i rörelse. Men det är svårt att tänka sig att vi skulle kunna spela så och äga matchen i 60 minuter, sade Zibanejad.
Saknade Ovetjkin
Washingtons vinsthistoria är den motsatta mot Rangers med tre förluster på den senaste fyra matcherna. Natten mot onsdag spelade de utan sin lagkapten Alexander Ovetjkin och saknade även anfallaren Sonny Milano.
Ovetjkin var borta på grund av skada och det är sjätte gången Washington spelar utan sig kapten den här säsongen, inklusive de fyra matcher han missade när hans far gick bort i februari. Washington har förlorat alla sex matcher där Ovetjkin saknats.