Polisen försökte stoppa demonstranterna, men bilder från den irakiska televisionen visade hur människor gick omkring i byggnaden, viftade med irakiska flaggor och jublade.
Premiärminister Mustafa al-Kadehmi varnade demonstranterna för att säkerhetsstyrkor skulle upprätthålla ordningen och skydda regeringsbyggnader och diplomatiska beskickningar i den så kallade gröna zonen.
Lämnade byggnaden
Men det krävdes en uppmaning från den shiamuslimska nationalisten Muqtada al-Sadr för att demonstranterna, efter omkring två timmar, skulle lämna parlamentsbyggnaden.
"Ert budskap har gått fram. . .ni har injagat skräck hos de korrupta", skrev han på Twitter och uppmanade demonstranterna att be en bön "innan ni återvänder hem oskadda".
Protesterna är de senaste i det oljerika landet som befinner sig i en politisk och socioekonomisk kris.
Sedan valet i oktober förra året är al-Sadrs grupp den största i parlamentet, men fraktionen saknar politisk majoritet vilket har lett till ett dödläge i bildandet av en ny regering.
Krisen har förvärrats
Demonstranterna protesterade mot att ett pro-iranskt block nominerat Mohammed al-Sudani till premiärminister, en tidigare minister och guvernör.
– Jag är emot Sudanis kandidatur eftersom han är korrupt, säger demonstranten Mohamed Ali, 41 år, till AFP.
I förra månaden kastades Irak in i en ännu värre politisk kris efter att 73 parlamentsledamöter från al-Sadrs block avgått i ett försök att få slut på det politiska dödläget. 64 nya ledamöter tillsattes vilket gjorde att det pro-iranska blocket blev det största i parlamentet.