Orbán ser sig själv som någon som ska försvara det "kristna Europa" från migration. Påven däremot uppmanar till hjälp till marginaliserade och alla som flyr krig och fattigdom, oavsett religion.
Efter det korta mötet publicerade Orbán en bild på sin Facebooksida av hur han skakar hand med den katolska kyrkans ledare, tillsammans med texten: "Jag bad påven Franciskus att inte låta det kristna Ungern gå under."
Påven själv hastade vidare till ett möte med judiska och kristna ledare. I ett tal, som sannolikt kommer att uppfattas som en kommentar till det politiska läget i Ungern, uppmanade han till tolerans.
– Hotet från antisemitismen finns fortfarande i Europa och på andra håll. Det är en stubin som inte får antändas, sade Franciskus.
De senaste åren har Orbán-vänliga medier och politiker kallat påven "anti-kristen" och kopplat ihop honom med den judiske ungersk-amerikanske miljardären George Soros, som ofta lyfts fram som syndabock för allt möjligt av populister och högerextremister.
Påven hann även hålla en mässa i Budapest – även där var budskapet öppenhet och solidaritet – innan resan senare på söndagen går vidare till Slovakien. Att påven bara stannar sju timmar i Ungern men över två dagar i grannlandet har även det väckt förtret bland premiärministerns anhängare.
– Påven Franciskus vill förnedra Ungern genom att bara stanna i några timmar, säger en Orbán-vänlig kommentator i tv.