Scalise nominerades i onsdags av det republikanska partiet till att bli ny talman efter att partivännen Kevin McCarthy avsattes från posten i förra veckan.
Sent på torsdagen gav Scalise upp försöket att samla tillräckligt med stöd.
– Jag meddelade precis mina kollegor att jag drar tillbaka mitt namn som kandidat till att bli utsedd till talman, sade Scalise till journalister på väg ut från ett möte i kongressen.
Saknar majoritet
USA:s representanthus befinner sig i ett slags limbo sedan förre talmannen Kevin McCarthy tvingades bort. Sedan dess har den i princip ledarlösa kammaren inte kunnat godkänna några lagförslag eller Vita husets begäran om nödhjälp till Israel – USA:s främsta allierade i Mellanöstern – i kriget mot terrorstämplade Hamas.
Scalise vann nomineringen inom partiet med en knapp marginal mot sin rival, Trumpfavoriten Jim Jordan.
Flera ledamöter som röstade på Jordan har uttryckt att de inte avser stödja Scalise när representanthuset, där republikanerna har en knapp majoritet, väl ska rösta om vem som ska bli talman.
Svår splittring
Scalise konstaterar att Republikanerna behöver samla sig i frågan men att man inte är där ännu.
– Det finns fortfarande vissa människor som har sina egna agendor, sade Scalise och fortsatte:
– Och jag var väldigt tydlig, vi måste få alla att lägga sina agendor åt sidan och fokusera på vad det här landet behöver.
Republikanska ledamöter väntas mötas igen tidigt på fredagen för att staka ut en ännu oklar väg ut ur krisen.