Carter var minister under de sista två åren under Obamas presidentperiod.
Han blev mest känd för att beslutet att tillåta kvinnor att fullt ut kunna tjänstgöra inom USA:s militär. Carter tog också bort ett förbud för transpersoner att bli militärer.
Besluten kom efter tre års granskning och en intensiv debatt i USA.
– Det är rätt sak att göra, sade dåvarande försvarsministern när beslutet togs i december 2015 om kvinnors roll inom militären.
Efter posten som försvarsminister blev Carter rektor för Belfer Center för vetenskap och internationella relationer inom Harvard University i Cambridge, Massachusetts.
Ash Carter blev 68 år.