McCarthy röstades bort med siffrorna 216 för och 210 emot. Åtta republikaner röstade för att avsätta honom. Sju ledamöter var inte närvarande.
Det är första gången i USA:s historia som representanthuset avsätter sin talman och posten står vakant. Republikanen Patrick McHenry från North Carolina har utsetts till temporär talman. Enligt The New York Times kommer hans huvudsakliga uppgift vara att övervaka ett val av ny talman.
Bakom kritiken mot McCarthy ligger en högerfalang inom Republikanerna, med Floridarepublikanen Matt Gaetz i spetsen. Dessa har bland annat retat sig på att McCarthy bidragit till att det så kallade skuldtaket i USA höjts. Falangen vill se en stram statsbudget med rejäla nedskärningar och indraget Ukrainastöd.
Demokraternas minoritetsledare i representanthuset, Hakeem Jeffries, skrev i ett brev till sina partikollegor innan omröstningen att partiet inte skulle rösta för att rädda McCarthy.
"Nu är det upp till de republikanska kongressledamöterna att få slut på det republikanska inbördeskriget i representanthuset", skrev Jeffries i brevet enligt AP.