"Det är väldigt enkelt och klart. Mr Kellers uppträdande representerar inte på något sätt våra värderingar. Även om han en gång tävlade på högsta nivå i vår sport – och då representerade landet och demokratin – så har Mr Keller inte varit med i den här organisationen sedan 2008", säger förbundet i ett uttalande.
Keller kunde identifieras i videoklipp från stormningen bland annat tack vare att han var klädd i en amerikansk OS-jacka.
Han greps i Colorado dagen efter attacken och släpptes senare efter förhör. Den förre simstjärnan kommer att åtalas för skapande av oordning och för att ha hindrat tjänstemän att utföra sitt jobb, enligt DN.
38-årige Keller har två OS-guld och totalt fem OS-medaljer. Han deltog i spelen 2000, 2004 och 2008.