Omröstningen skedde efter månader av dispyter mellan den 69-årige premiärministerns styrande kommunistparti och dess koalitionspartner i regeringen.
Himalayanationen befinner sig också i läge med en coronakris som blir alltmer omfattande, och Sharma Oli har kritiserats för hur pandemin hanterats.
Den före detta politiske fången lyckades bara säkra 93 röster till sin fördel. Drygt 120 parlamentariker valde att inte ge honom fortsatt förtroende, över 20 av dem Sharma Olis egna partikamrater.
President Bidhya Devi Bhandari ska nu ge partierna i parlamentet uppdraget att utse en ny kandidat till premiärministerposten.