Touren går nu in i den nionde etappen, men det var i den tredje som Roglic kraschade och slog sig så illa att han fortfarande har smärtsamma blåmärken som hindrar honom från att cykla.
"Vi fattade det här beslutet tillsammans med teamet, det finns ingen mening med att fortsätta", säger Roglic i ett uttalande enligt Reuters.
Roglic var en av storfavoriterna i årets tour, men efter att ha gått i mål mer än 35 minuter efter lördagens etappsegrare, Dylan Teuns, är alla drömmar om en seger borta.
"Jag hade jätteont. Det var bara för mycket för min kropp och jag kan inte tävla. Jag är besviken, men det är rätt beslut," säger Roglic som nu fokuserar på OS i Tokyo.
Även Mathieu van der Poel har valt att bryta touren och fokusera på OS.
– Jag kommer inte till start. Det har varit en fantastisk vecka för mig och mina lagkamrater, säger van der Poel som tidigare burit den gula ledartröjan.