Enligt AFP ska flyktingar ha förhörts av azerbajdzjansk gränspolis innan de tog sig över till den armeniska byn Kornidzor.
Armeniens regering meddelade på söndagskvällen att över 370 personer som "tvångsfördrivits" korsat gränsen till Armenien.
– I går behövde vi lägga ned våra gevär. Så vi lämnade, säger en man i trettioårsåldern som var bland de första tiotals personer som korsade gränsen under söndagen och registrerade sig i Kornidzor.
De flesta flyktingarna är kvinnor och barn, enligt AFP:s personal på plats.
– Vi hade 15 minuter på oss att packa ihop allting, vi kunde inte ta med oss någonting, säger bonden Shamir, som lämnade sin treåriga dotters grav bakom sig.
– Jag tog inte farväl av henne. Jag hoppas på att komma tillbaka.
De senaste månaderna har spänningarna ökat mellan Armenien och Azerbajdzjan. Det var i tisdags som Azerbajdzjan inledde en militär insats i Nagorno-Karabach, efter påståenden om att armeniska styrkor befann sig i regionen, något som Armenien förnekade.
Nagorno-Karabach ligger inom Azerbajdzjans formella gränser men är i praktiken en utbrytarregion under Armeniens vingar.