De 200 kropparna hittades sedan en stank trängt sig upp från rasmassorna och spridit sig i kvarteret i staden, säger borgmästarens rådgivare Petro Andriusjtjenko, enligt AP.
Arbetare som grävde sig genom bråten hittade människorna på tisdagen.
Mariupol är den stad där några av de allra hårdaste striderna utkämpats och misären som utspelat sig i den belägrade staden där brist på mat, mediciner och andra förnödenheter råder har förfärat en hel värld.
Upptäckten kommer kort efter att omständigheterna från en av de dödligaste attackerna i kriget hittills i staden Desna, norr om Kiev, börjat klarna. Minst 87 personer har där hittats döda efter ett robotanfall i förra veckan, säger Ukrainas president Volodymyr Zelenskyj.
Dagen då angreppet skedde sade en talesperson för den ryska militären att långdistansrobotar hade träffat en ukrainsk militär utbildningsanläggning nära Desna, rapporterar Sky News.
Zelenskyj har inte preciserat om de dödade var militärer eller civila, men angreppet skulle kunna vara den största militära förlusten för Ukraina vid en enskild attack sedan kriget inleddes, enligt Sky News.
– Europa har inte sett ett sådant här krig på 77 år, säger Zelenskyj, syftande på andra världskriget.
Svåra veckor
De svåraste striderna utspelar sig nu i regionen Donbass i östra Ukraina, där Ryssland fokuserar på städerna Bachmut, Popasnaja och Sievjerodonetsk, enligt presidenten.
– De kommande veckorna kommer att bli svåra, det måste vi vara medvetna om, säger han i sitt nattliga tal.
Angreppen mot Donbassregionen, som utgörs av Luhansk och Donetsk, har ökat och de ryska styrkorna försöker omringa staden Sievjerodonetsk tillsammans med två närliggande städer, skriver brittiska försvarsdepartementet i sin senaste uppdatering. Det skulle innebära att hela Luhanskområdet skulle hamna under rysk kontroll.
"Även om detta för tillfället är Rysslands huvudsakliga ansträngning är denna insats bara en del av Rysslands försök att inta hela Donbass", skriver försvarsdepartementet.
Ryssland har gjort framsteg på en del håll, trots ett starkt ukrainskt motstånd, men en längre frontlinje västerut skulle innebära en längre kommunikationslinje för ryssarna och "sannolikt innebära ytterligare logistiska försörjningssvårigheter", enligt departementet.
Tunnelbana öppnar igen
Samtidigt som striderna intensifieras på andra håll i landet har tunnelbanan i Ukrainas näst största stad Charkiv öppnat igen efter att varit stängd i över två månader. Under kriget har de omkring 30 stationerna fungerat som skyddsrum åt tusentals av stadens invånare.
Enligt stadens borgmästare är nästan alla stationer återigen i drift, efter ett beslut som fattats för att starta om ekonomin. Tre stationer i de nordöstra delarna av staden som tidvis är under beskjutning är dock fortsatt stängda.
"Vapen och ammunition"
På tisdagen meddelade Ryssland att man utfärdar ett inreseförbud för 154 medlemmar av det brittiska överhuset, rapporterar AFP.
I måndags beslutade ett 20-tal länder att skicka nya vapenpaket till Ukraina. Det sade USA:s försvarsminister Lloyd Austin efter ett virtuellt möte med 47 länder som arrangerats med anledning av kriget i Ukraina.
Zelenskyj tackar för det internationella stödet, men fortsätter att be om mer hjälp.
– Högsta prioritet är vapen och ammunition.
Sedan Rysslands storskaliga invasion inleddes den 24 februari har ryska styrkor utfört närmare 1 500 robotangrepp, med nästan 2 300 olika robotar, uppger presidenten, som säger att de allra flesta har träffat civila mål. Ryska flygplan och helikoptrar ska samtidigt ha genomfört över 3 000 flyganfall.