När Tokyo stod värd för OS 1964 hölls spelen i oktober. Men att hålla ett OS i juli/augusti i år skulle inte var några problem. I sin OS-ansökan skrev staden att sommaren har "många dagar av milt och soligt väder" och är ett "idealt klimat för utövarna att kunna göra sitt bästa".
Men årets spel har blivit ett av de varmaste som hållits.
– Utmaningen vi har är att kunna skapa förutsättningar där vi inte behöver sätta upp fältsjukhus och tvingas ägna år åt att tänka på hur vi ska skydda idrottarnas hälsa. Så är det ingen som vill ha det, säger Coe på en presskonferens i Tokyo.
– Det här är en debatt vi måste ta. Det innebär att gå igenom vad som är möjligt och antagligen att vi behöver vara mer flexibla i framtiden.
För att komma undan den värsta värmen flyttades Sveriges finalmatch i fotbollen från förmiddag till kväll och några rundor i golfen startade tidigare än planerat. Men att flytta gångtävlingarna och de två maratonloppen till Sapporo i norra Japan hjälpte föga, gångare och löpare fick svalka sig med ispåsar under loppen.
"Riktigt tufft", beskriver Coe tävlingarna i Sapporo som avgjordes i 25-gradig värme.
– Oavsett om man är klimatkämpe eller förnekar klimatförändringarna måste man märka att det blir varmare på jorden, säger han.