Läkarorganisationen representerar 6 000 läkare i Tokyo. I ett öppet brev riktat till Japans premiärminister Yoshihide Suga uttrycker de att "de har händerna fulla och nästintill inga lediga platser (på sjukhusen)".
"Vi begär att myndigheterna övertygar Internationella olympiska kommittén (IOK) om att det blir svårt att arrangera OS och att de ställer in spelen", skriver organisationen.
Japan har fortsatta bekymmer med smittspridningen av covid-19 och har förlängt nödläget i Tokyo och flera andra regioner till den 30 maj.
Men Suga har hävdat att Japan kan arrangera ett "tryggt och säkert OS".
Samtidigt har rösterna för att ställa in spelen tilltagit de senaste veckorna. Flera opinionsundersökningar har visat att en majoritet av den japanska befolkningen vill att evenemanget ställs in. Dessutom har 350 000 personer skrivit på en namninsamling för att stoppa OS.
OS i Tokyo invigs den 23 juli.