Beslutet bygger enligt ett uttalande från bolaget på en "ömsesidig överenskommelse".
Diess har varit vd för Volkswagen, världens andra största biltillverkare, i fyra år och ersätts av Porsche-chefen Oliver Blume.
Volkswagengruppen som är mitt uppe i en omställning mot att fokusera på elfordon fattade beslutet på ett styrelsemöte under fredagen.
Enligt styrelseordförande Hans Dieter Poetsch har Diess "spelat en nyckelroll" i gruppens omställning, styrt företaget under mycket tuffa omständigheter och "implementerat en helt ny strategi".
Med sin tvära stil och sina kontroversiella uttalande har Herbert Diess ofta rört upp känslor. 2019 fick han be om ursäkt efter en ordlek där han använde en välkänd nazistisk paroll vid ett företagsmöte.
Internt fick han även kritik när han i höstas antydde att 30 000 jobb på Volkswagen i Tyskland var i fara om inte kostnaderna för omställningen till elfordon kan skäras ned.