Det var under lördagsmorgonen, lokal tid, som en mängd lera och vatten rasade över stora delar av staden och demolerade byggnader och bilar i sin väg. 130 hem och andra byggnader uppskattas ha förstörts.
Soldater och räddningsarbetare har sedan dess sökt efter överlevare, ett arbete som väntas återupptas under tisdagen. Fyra personer har bekräftats döda, men myndigheter saknar uppgifter om var minst 64 personer, bosatta i området, befinner sig.
Regnsäsongen i Japan orsakar regelbundet översvämningar och jordskred, men de skyfall som den senaste veckan drabbat huvudön Honshu har varit ovanligt intensiva. Enligt prognoser väntas ytterligare skyfall i området och fler jordskred kan förekomma.
Drygt 35 000 personer i främst Shizuoka-regionen där Atami ligger har uppmanats, men inte tvingats, evakuera från sina hem på grund av rasriskerna.