27,7 procent av de frågade vill helt blåsa av spelen medan 24 procent vill skjuta upp mästerskapet ytterligare.
46,3 procent vill genomföra det som planerat.
När coronapandemin bröt ut tidigare i år togs beslutet att skjuta fram årets sommarspel ett år i tiden.
Thomas Bach, ordförande i Internationella olympiska kommittén (IOK), har sagt att OS antingen anordnas 2021 eller ställs in helt.
Undersökningen genomfördes av nyhetsbyrån Kyodo och TV-kanalen Tokyo MX.