63-åringen skrev då på ett kontrakt som sträckte sig över säsongen som nyligen avslutades. Tanken var även att tysken skulle fortsätta i ytterligare två år som konsult, men så blir det inte, meddelar United på sin hemsida.
Anledningen att Rangnick nu lämnar är på grund av den kravbild kring hans nya roll som förbundskapten för Österrike.
"Utifrån en ömsesidig överenskommelse kommer Ralf nu enbart fokusera på sin nya roll som förbundskapten för Österrikes landslag och kommer därför inte att ha en konsultroll på Old Trafford", skriver klubben i ett uttalande på sin hemsida.
Rangnicks uppdrag i Österrike blir hans första i ett landslag.
Från och med nästa säsong tränas United av nederländaren Erik ten Hag.