Utrikesminister Penny Wong säger att landet nu går tillbaka till den tidigare linjen, att den heliga stadens status måste avgöras genom fredssamtal mellan israeler och palestinier.
– Vi kommer inte att stödja en linje som underminerar en tvåstatslösning. Australiens ambassad har alltid funnits i Tel Aviv, och där kommer den att vara kvar, säger Wong.
Israels premiärminister Yair Lapid beskriver beslutet som ett hafsverk, och förklarar syrligt att "vi får hoppas att Australiens regering hanterar andra frågor mer seriöst och professionellt".
Hussein al-Shaykh, motsvarande inrikesminister i Palestinska myndigheten, skriver på Twitter att palestinierna välkomnar Australiens beslut "och dess maning om en tvåstatslösning i enlighet med internationell legitimitet".
Följde Trump
Bakgrunden är USA:s dåvarande president Donald Trumps omvälvande beslut 2017 att flytta landets ambassad från Tel Aviv till Jerusalem, och börja se den sistnämnda staden som Israels huvudstad.
Det var en u-sväng från en linje som större delen av omvärlden hållit ända sedan 1947, då FN:s delningsplan för Palestina lades fram. Planen stadgade att Jerusalem skulle vara separat från de arabiska och judiska stater som skulle bildas – en linje som dåvarande judiska ledare sade ja till.
2018 anslöt sig Australiens dåvarande högerregering till Trumps nya syn på saken. Beslutet blev hårt kritiserat och skapade spänningar i relationen till Australiens granne Indonesien – världens folkrikaste land med muslimsk majoritetsbefolkning – med ett tillfälligt stopp för ett handelsavtal som följd.
"Trofast vän"
Wong hävdar att högerpremiärminister Scott Morrisons beslut var ett försök att vinna ett fyllnadsval i en stadsdel i Sydneyområdet som har en stor andel judiska väljare.
– Vet ni vad det här handlade om? Ett icke framgångsrikt, cyniskt spel för att vinna Wentworth och ett fyllnadsval, säger Wong.
Men hon understryker att omsvängningen inte ska ses som en fientlig handling gentemot Israel.
– Australien kommer alltid att vara en trofast vän till Israel. Vi var ett av de första länderna som erkände Israel.
Israel ockuperade den arabiska, östra delen av Jerusalem i och med sexdagarskriget 1967 och annekterade sedan området som sin huvudstad. Men även palestinierna vill förlägga sin huvudstad där i en framtida stat.