Socialdemokraterna, Vänsterpartiet, Centerpartiet och Miljöpartiet anser att det är ohållbart att Sverigedemokraternas Richard Jomshof sitter kvar som ordförande.
Frågan om Jomshof kan fortsätta att leda utskottet i Sveriges riksdag kommer att väckas vid nästa sammanträde om drygt två veckor.
– Då är det upp till övriga partier att ta ställning till detta, säger Socialdemokraternas rättspolitiske talesperson Ardalan Shekarabi på en pressträff tillsammans med de rättspolitiska talespersonerna för Vänsterpartiet, Centerpartiet och Miljöpartiet.
I utskottet sitter 17 ledamöter, för att Jomshof ska förlora omröstningen krävs att minst en person ur Tidöpartierna röstar med oppositionen.
S: Väger tungt
Enligt Shekarabi äventyrar Jomshofs agerande Sveriges säkerhet.
– Han sprider hatiska budskap, har uppmanat till bokbål och delar inlägg där statsministern kallas för ynkrygg.
Om han byttes ut skulle det enligt Socialdemokraterna göra stor skillnad.
– Han leder ett av de absolut tyngsta utskotten i Sveriges riksdag och agerar på olika sätt för att eskalera den mycket svåra säkerhetssituation som vi har.
– Det är inte en enskild medborgares agerande. Han agerar i egenskap av ett av de tyngsta utskotten och representerar därmed den svenska staten internationellt, säger Shekarabi.
"Gränsen är nådd"
Vänsterns Gudrun Nordborg anser att Jomshof har fått en maktposition av regeringspartierna, eftersom ordförandeposter i riksdagens utskott var en del av förhandlingarna i Tidöavtalet. Nu kan han inte sitta kvar.
– Vi anser att gränsen är nådd, säger hon.
Flera liberala riksdagsledamöter vill också att Jomshof ska avgå.
– Jag är inte ledamot av justitieutskottet och kommer därför inte att delta omröstningen. Jag har tidigare uttryckt min personliga uppfattning att Jomshof bör lämna posten som utskottsordförande. Det anser jag fortfarande. Hans beteende är inte värdigt uppdraget som utskottsordförande i Sveriges riksdag, säger Anna Starbrink (L) till Aftonbladet.
– Hans beteende är olämpligt, inte minst i det säkerhetsläge som vi befinner oss i. Han borde själv inse detta och lämna uppdraget, säger i sin tur Malin Danielsson (L) till tidningen.
Joar Forsell, ledamot i utrikesutskottet, sluter också upp bakom avgångskravet.
– Jomshof är olämplig som ordförande för justitieutskottet. Det vore bra för Sverige om Jomshof förstod vilken skada han orsakar förtroendet för justitieutskottet och lämnade sitt uppdrag, säger han till Aftonbladet.
Men Juno Blom, Liberalernas enda ordinarie ledamot i justitieutskottet, säger i en skriftlig kommentar till TT att partierna måste lägga fokus på det som är "viktigt för Sverige" och syftar på det allvarligt säkerhetspolitiska läget.
"Det är partierna själva som utser sina egna i utskotten, det är en viktig princip att upprätthålla särskilt när vi befinner oss i detta säkerhetspolitiskt allvarliga läge", skriver Blom.
"Om statsministern menar allvar"
På frågan om hur troligt det är att man kan avsätta Jomshof säger Shekarabi:
– Det beror på om statsministern menar allvar. Statsministern har uppmanat oss alla, allmänheten, till återhållsamhet för att kyla ner situationen. Det blir ohållbart om den uppmaningen trotsas av justitieutskottets ordförande.
Socialdemokraterna krävde redan i slutet av juli Jomshofs avgång som ordförande efter en tweet om profeten Muhammed.
– Vi ser att hans uttalande till och med fått statsministern att adressera vad som är "lawful but awful", och det tror jag är tecken nog, säger Centerpartiets Ulrika Liljeberg.
Nästa utskottssammanträde är den 31 augusti och torsdagen därpå, den 7 september, kan det bli aktuellt med en omröstning.
Brittisk varning
Miljöpartiets Rasmus Ling säger att det handlar om Sveriges säkerhet och sätter frågan i ljuset av att brittiska myndigheter nyligen gick ut och varnade sina medborgare för att det finns en risk för terrorattentat i Sverige.
Samtidigt har statsministern gått ut och sagt att människor bör tänka på vad de säger och skriver, inklusive Richard Jomshof.
– Då har vi en ordförande för justitieutskottet som tvärtom häller bensin på brasan och uppmanar till att bränna fler koraner. Vi menar att det inte är värdigt, vi har inte förtroende för en ordförande som agerar på det sättet, säger Rasmus Ling.
TT har sökt statsminister Ulf Kristersson (M).