1–2-resultatet gjorde att den svenske landslagsmittfältaren Emil Forsbergs lag, som förra säsongen slutade tvåa, nu halkat ner till elfte plats.
Marsch, som ersatte Julian Nagelsmann i somras, har bara fört Leipzig till fem segrar på 14 matcher i höst.
"RB Leipzig och huvudtränaren Jesse Marsch har kommit överens om att gå skilda vägar. Beslutet är resultatet av en djup analys och intensiv diskussion efter matchen mot Union Berlin", skriver klubben i ett uttalande.
Den assisterande tränaren Achim Bierlorzer ska leda laget mot Manchester City i Champions League till veckan.
Marsch var den förste amerikanske tränaren att leda ett lag i Champions League.
– Det är tråkigt att det inte gick som vi hoppades med den här ledningen och att vi var tvungna att ta det här steget, säger Leipzigs vd Oliver Mintzlaff.