Den 68-årige Rusesabagina dömdes 2021 till 25 års fängelse för terrorbrott, bland annat för att ha stött FLN, en väpnad gren av ett politiskt parti han var med och grundade.
Sent på fredagskvällen släpptes han från fängelset, och fördes till Qatars ambassadörs residens.
– Han kom hit för bara en halvtimme sedan. Så det är mycket goda nyheter, säger en amerikansk diplomatkälla till flera nyhetsbyråer.
Tidigare på dagen hade en talesperson för Rwandas regering meddelat att Rusesabagina och 18 andra dömda skulle friges och att USA och Qatar spelat stor roll i benådningsprocessen.
Blinken tacksam
Rusesabagina ska inom några dagar flygas till Qatar innan han tar sig vidare till USA.
"Det är en lättnad att Paul kan återförenas med sin familj och USA:s regering är tacksam för att Rwanda gjorde det möjligt", säger USA:s utrikesminister Antony Blinken i ett skriftligt uttalande.
Under folkmordet i Rwanda 1994 antas Rusesabagina ha räddat över 1 200 liv. Han var då chef för ett hotell i huvudstaden Kigali.
Amerikansk frihetsmedalj
Hans agerande är skildrat i den Oscarsnominerade filmen "Hotel Rwanda" (2004) som gjorde honom till en världskänd hjälte. 2005 fick han USA:s främsta civila utmärkelse, Presidentens frihetsmedalj, av George W Bush.
Med sin nyvunna status började Rusesabagina, som då levde i exil, att kritisera president Paul Kagames styre, som med tiden blivit alltmer auktoritärt och repressivt mot oppositionella.
År 2020 dök han plötsligt upp i Kigali, gripen, under oklara omständigheter. Enligt familjen efter att ha kidnappats i utlandet, varpå han senare dömdes.