Staden har vanligtvis 75 000 invånare, men kommer snart vara tömd på människor, enligt människorättsaktivisten Adriano Nuvunga.
Överlevande berättar att de fått gå till fots genom skogen mot grannstaden Mueda, 18 mil söderut, andra har flytt till regionshuvudstaden Pemba via båt.
Polisstation attackerades
Enligt regeringen dödades ett okänt antal i en planerad extremistattack, strax efter att en stor fartygsleverans med mat anlänt. Minst två utlänningar, en sydafrikansk man och en brittisk medborgare finns bland dödsoffren.
Vittnen på plats har rapporterat om att extremisterna först attackerade banker och polisstationen, sedan resten av stadens byggnader. Enligt internationella människorättsorganisationer väntar mellan 6 000 och 10 000 fortfarande på att evakueras.
I regionen pågår ett omfattande naturgasprojekt, i vilket den franska oljejätten Total och andra internationella energibolag deltar.
Jihadistgruppen låter via en av sina propagandakanaler meddela att "kalifatets soldater har intagit den strategiska staden Palma".
Rädda människors liv
FN-representanter försöker koordinera evakueringar och samtidigt få fram hjälpsändningar till de som flytt kaoset. Regeringen i Moçambique sade i ett uttalande i söndags att man jobbar för att minska extremisternas inflytande och att Palma ska kunna återuppbyggas. Just nu fokuserar man på att rädda så många invånare som möjligt, enligt försvarsdepartementet.
FN fördömer attacken.
"Vi är mycket oroade av den pågående situationen i Palma, där beväpnade attacker inleddes 24 mars och ett antal människor uppges ha dödats", säger Stéphane Dujarric, talesperson för generalsekreterare António Guterres i ett uttalande.