Caicedo fick börja matchen på bänken, men byttes in i den 60:e minuten.
På tilläggstid, när Chelsea jagade kvittering, orsakade han den straff som Lucas Paqueta kunde förvalta. Därmed var det rullgardinen ned för Mauricio Pochettinos lag.
Trots spel med en man mer i drygt 20 minuter.
Den 21-årige Moises Caicedo värvades tidigare i veckan från Brighton för 115 miljoner pund, motsvarande drygt 1,5 miljarder kronor. Därmed blev han den dyraste övergången i engelsk fotboll i historien.
Den tidigare rekordinnehavaren, Enzo Fernandez, hade inte heller någon lycka då han brände en straff i första halvlek vid ställningen 1–1.
Då hade West Ham rivstartat matchen och tagit ledningen genom Naif Aguerd i sjunde minuten. Samme spelare som fick rött kort i den 67:e.
Carney Chukwuemeka kvitterade i 28:e minuten och Chelsea tog över matchen.
Men så kom Fernandez straffmiss.
Och i 53:e minuten – under värsta Chelseapressen – kunde Michail Antonio bomba in 2–1 för West Ham i en kontring.
Chelsea började säsongen lovande med en bra insats i 1–1-matchen mot Liverpool – men insatsen mot West Ham visar att det är en lång väg tillbaka till toppen för Londonklubben som bara blev tolva förra säsongen.
Det svänger om Aston Villa. Efter hemska 1–5 i premiären mot Newcastle slog Birminghamlaget tillbaka med kraft och mosade Everton med 4–0.