Anledningen är att det inte tjänar sitt syfte, säger premiärminister Robert Golob.
Taggtrådsstängslet sattes upp under flyktingkrisen 2014–2015, när mer än en halv miljon människor korsade gränsen mellan länderna.
Men det runt 200 kilometer långa stängslet, som täcker en tredjedel av gränsen, fick inte avsedd, avskräckande, effekt.
– Taggtråden avskräckte inte någon att ta sig över vår gräns, säger Golob och uppger att en plan för rivningen ska vara klar innan juni månads slut.
Enligt premiärministern har antalet flyktingar som kommer till landet ökat med 75 procent under årets första fem månader, jämfört med samma period i fjol, och stängslet utgör nu bara en onödig hälsorisk.