ICC:s arresteringsorder innebär att Sydafrika, som ska stå värd för ett toppmöte med Ryssland, Brasilien, Indien, Kina och Sydafrika, skulle behöva gripa Vladimir Putin när han anländer till landet för toppmötet.
– Det regerande partiet har fattat beslutet att det är klokt att Sydafrika drar sig ur ICC, säger landets president Cyril Ramaphosa under en presskonferens.
Beslutet har enligt Ramaphosa fattats till stor del på grund av vad som uppfattas som att domstolen behandlar vissa länder orättvist.
– Vi skulle vilja att den här frågan om orättvis behandling diskuteras ordentligt, men under tiden har det styrande partiet än en gång beslutat att man ska dra sig ur.
ICC:s arresteringsorder mot Putin kom som en följd av anklagelser om att Ryssland olagligen fört bort ukrainska barn.
Sydafrika gjorde även 2016 ett försök att dra sig ur ICC, efter att landet vägrat gripa Sudans dåvarande president Omar al-Bashir när han besökte landet för Afrikanska unionens toppmöte. Det beslutet att lämna ICC återkallades dock efter att en domstol slagit fast att det skulle ha stridit mot grundlagen.