I brevet, skickat i mitten av juni, skriver Wasserman att han vill se en regeländring så att idrottare fritt kan markera mot rasism under spelen.
"Idrotten är inte åtskiljd från eller fri från rasism. Det är en liten del av vår värld där rasism existerar. Jag uppmanar dig att tillåta och uppmuntra utövare att markera mot rasism när helst de kan, både på och utanför arenan", skriver han i brevet till IOK-ordföranden Thomas Bach, enligt Los Angeles Times.
Wasserman vill få ändrat regel nummer 50 i de olympiska stadgarna, som säger att "ingen form av demonstration eller politisk, religiös eller rasrelaterad propaganda är tillåten på någon olympisk plats, arena eller andra områden".
Tidigare i år kom det nya riktlinjer från IOK med en förbudslista som innefattar bland annat skyltar, armband och handgester. Regelverket förbjuder idrottare att knäböja under nationalsången och på andra sätt frångå det stränga regelverket som gäller för medaljceremonin.
"Att vara antirasist är inte politiskt. Att vara antirasist är centralt för våra kärnprinciper och därför ett förkroppsligande av allt OS symboliserar", skriver Wasserman.
"Det är upp till oss alla att anta förändringar och skapa en framtid som vi vill se. Jag räknar med ditt ledarskap och att du tar rätt beslut", fortsätter han.
Ingen i IOK eller Los Angeles-spelens arrangörskommitté har kommenterat innehållet i brevet.