Förlustsiffrorna skrevs till 4–6, 7–5, 2–6, 6–0, 2–6.
Matchen böljade fram och tillbaka och norrmannen såg ut att ligga bra till i matchens slutskedet efter att ha vunnit fjärde set utan att tappa ett game.
Men den 26-årige kinesen från Shanghai kom tillbaka och vann det avgörande femte setet sedan han brutit sin motståndares serve två gånger om.
Femterankade Ruud är besviken på insatsen i US Open – där han nådde hela vägen till final ifjol men väl där förlorade mot Carlos Alcaraz.
– Det finns saker som jag kan ha gjort bättre och som jag måste analysera lite mer och åka hem och träna på. Så att jag kan komma tillbaka starkare, säger Ruud enligt NTB.
Zhang – rankad 67:a i världen – skrev i och med vinsten historia som den första kines på herrsidan att slå en topp 5-spelare.
Han får sällskap i den tredje rundan av New York-publikens hemmahopp Tommy Paul, Francis Tiafoe och Taylor Fritz, som samtliga vann sina matcher.