Mannen simmade nära en ponton runt 150 meter från stranden i huvudstaden Nouméa när hajen attackerade honom. Myndigheterna uppger att han blev biten flera gånger.
Två människor som seglade i närheten tog snabbt med mannen till stranden, där räddningspersonal försökte rädda honom. Mannen hade stora sår på ett ben och båda armarna, enligt den lokala åklagaren Yves Dupas. Han avled på platsen.
Många människor befann sig i vattnet och bevittnade händelsen.
Nouméa borgmästare Sonia Lagarde beordrade att de flesta stränderna i området skulle stängas.
Nya Kaledonien i Stilla havet är ett mellanting mellan en självständig stat och ett franskt departement. Ögruppen med runt 270 000 invånare har varit franskt territorium sedan 1853.