Anläggningarna i Tokyo och Osaka ska tillsammans kunna vaccinera 15 000 om dagen, inledningsvis äldre.
Japan har hittills drabbats relativt milt av pandemin sett till dödstal i förhållande till befolkningsantal. 12 000 människor har avlidit till följd av covid-19 bland den 125 miljoner stora befolkningen.
Vaccinationstäckningen i Japan ligger för närvarande runt 2 procent, att jämföra exempelvis med 40 procent i USA och 15 procent i Frankrike.
Oro för en fjärde våg och ökad belastning på sjukvården har gjort att Japans pandemistrategi fått kritik. För de som nu blir vaccinerade är lättnaden stor.
– Det är underbart. Nu kan jag andas ut. Under en väldigt lång tid, ett och ett halvt år, har jag varit ganska spänd och nervös, säger 73-åriga Hideo Ishikawa.
OS kommer, om allt går som planerat, att hållas i en "bubbla" där det tävlande isoleras från övriga i landet.