När Karlsson kom till Cali, där JVM avgörs, hade hon ett personligt rekord på 58,36. Karlsson hade näst bästa tid i semifinalerna och satte personligt rekord på 57,34.
I finalen putsade hon det rekordet och sprang på 56,71.
På två dagar har hon således förbättrat sitt personbästa med mer än en och en halv sekund.
"Det är helt galet, jag tror inte på det själv", säger Karlsson enligt Svenska Friidrottsförbundet.
Vann gjorde amerikanskan Akala Garrett, på världsårsbästa 56,16. Michalea Rose, även hon från USA, kom trea med tiden 56,86.
Silvret är Sveriges fjärde medalj under JVM. Natten till torsdags tog Emma Sralla guld i diskus och dagen före knep tiokamparna Jacob Thelander och Elliot Duvert silver- respektive bronspeng.