Regeringen samlades under onsdagen till ett möte efter det att ministrar från nationalistiska Sannfinländarna på sistone avslöjats med rasistiska inlägg.
Orpo beskrev mötet som "svettigt".
– Det har funnits en oro vad gäller regeringens linje. Men regeringen accepterar inte någon form av rasism. Finland kommer inte att förändras och om det gör det, blir det till det bättre, sade Orpo (Saml) på ett pressmöte enligt Yle.
Några konkreta åtgärder presenterades dock inte av Orpo.
Finansminister Riikka Purra (Sannf) och partikamraten, näringsminister Wille Rydman, har i tidigare inlägg på sociala medier och privata meddelanden uttalat sig grovt om bland annat somalier. Det har lett till att samlingsregeringen hotat spricka, och att oppositionen har krävt en förtroendeomröstning.