Tjecken Tomas Soucek nådde högst i en nickduell, Jarrod Bowen höll sig framme och stötte in ledningsmålet från nära håll.
Londonklubben släppte in det kommando man tog redan efter tio minuter.
Michail Antonio bröt en längre tids måltorka när han på Bowens inlägg tidigt i andra halvlek nickade in 2–0.
I nästa omgång väntar ännu en bortamatch för West Ham och en betydligt svårare sådan – Manchester United på Old Trafford.
Så här spelas den femte omgången:
Southampton–Luton eller Grimsby, Leicester–Blackburn/Birmingham, Stoke–Brighton, Wrexham/Sheffield United–Tottenham, Fulham/Sunderland–Leeds, Bristol City–Manchester City, Manchester United–West Ham, Ipswich/Burnley–Sheffield Wednesday/Fleetwood.
Matcherna spelas under och kring den sista helgen i februari.