Det är oklart hur mannen tagit sig in i Finland.
– Gripandet av honom visar ändå att systemet fungerar. Men det är ett exempel på att man bör vara vaksam, säger Orpo till public service-bolaget Yle.
Enligt Orpo har Finland "världens mest effektiva gränsövervakning". Gränskontrollerna skärptes för en månad sedan, men det kan finnas anledning att se över dem igen, anser statsministern.
Orpo oroas av situationen i Ryssland som han ser som politiskt instabil. Anfallskriget mot Ukraina har förstärkt de interna maktkamperna mellan olika militära aktörer i Ryssland och president Vladimir Putin har inte längre samma kontroll som tidigare över situationen, är Orpos bedömning.
Också paramilitära Wagnergruppen, vars situation är oklar, är en källa till oro. Om gruppen skingras kan det för Finland innebära ett allvarligt hot, befarar statsministern.
– Tyvärr finns inget annat än osäkerhet att vänta från Ryssland framöver, säger han till Yle.