I ett textmeddelande till en vän skrev mannen med syftning på representanthusets talman, demokraten Nancy Pelosi, att han skulle sätta "en kula i hennes skalle i direktsänd tv", uppger federala myndigheter.
Mannen, som utreds för bland annat hot och olaga vapeninnehav, kom enligt egen uppgift för sent till Washington DC för att hinna delta i protesterna, skriver The New York Times.
I hans bil hittade polisen utöver vapnen en stor mängd ammunition, enligt den federala polisen.
Det finns inga tecken på att mannen lyckades komma i närheten av Pelosi.