Samtalen hölls i en "konstruktiv och positiv atmosfär" enligt ett uttalande från Azerbajdzjans presidentkansli efter att torsdagens samtal avslutats.
Presidentkansliet tillade att parterna kommit överens om att mötas inom kort igen.
Samtalen pågick i två timmar, enligt statliga medier i Azerbajdzjan. Den armeniska delegationen lämnade då platsen utan att ge några detaljer kring hur diskussionerna gått. Senare meddelas att de var redo att fortsätta fredssamtalen.
Jakob Hedenskog, analytiker vid Centrum för Östeuropastudier på Utrikespolitiska institutet, har i en intervju med TT tidigare i veckan konstaterat att Karabach-armenierna gått till förhandlingsbordet utifrån en svaghetsposition – de har helt enkelt inte haft något val.
Rädsla för etnisk rensning
Hedenskog konstaterade då att utgångspunkterna för Nagorno-Karabachs självutnämnda styre inför torsdagens samtal bland annat var rädsla för etnisk rensning och avsaknad av militärt stöd utifrån.
Under veckan har den bergiga utbrytarregionen Nagorno-Karabach återigen skapat rubriker sedan nya strider utbrutit. Nagorno-Karabach ligger inom Azerbajdzjans formella gränser men befolkas nästan uteslutande av etniska armenier.
Azerbajdzjan inledde en militär insats i tisdags, efter påståenden om att armeniska styrkor befann sig i utbrytarregionen – vilket Armenien förnekade. I onsdags hävdade Azerbajdzjans president Ilham Aliyev att hans land tagit kontroll över utbrytarregionen och att armeniska separatister gått med på att lägga ned sina vapen.
Armeniens premiärminister Nikol Pasjinjan konstaterar att vägen till fred med ärkefienden Azerbajdzjan måste följas.
– Vägen är inte lätt, den kommer att bli svår på flera sätt, och vi måste följa den, sade han i ett tv-sänt tal på torsdagen.
Torsdagens samtal har hållits i den azeriska staden Yevlax (Yevlakh).
Samtidigt som mötet pågick hördes skottlossning i separatistfästet Stepanakert, enligt nyhetsbyrån AFP. Armenierna anklagar Azerbajdzjan för att bryta mot eldupphöret, vilket förnekas från den azeriska sidan.
Möte i FN:s säkerhetsråd
Ryssland påstår sig ha varit med och förhandlat fram onsdagens eldupphör och president Vladimir Putin har sagt att ryska styrkor ska medla i samtalen.
Enligt Azerbajdzjans åklagarmyndighet har sex ryska soldater dödats "av misstag" i utbrytarregionen under oroligheterna. Förklaringen var att Bakus soldater misstog de ryska medborgarna för att vara armeniska separatister. En av de ryska soldaterna uppgavs ha dödats av armenisk eld.
Under torsdagen väntas FN:s säkerhetsråd att mötas akut om krisen. Minst 200 människor dödades i striderna tidigare i veckan, enligt armeniska uppgifter.
Konflikten i Nagorno-Karabach har präglats av övergrepp av båda sidor. Det finns oro för en ny flyktingkris sedan den armeniska sidan fruktar att den kommer att behöva gå med på en folkförflyttning från regionen.
Armenien varnar FN för att Azerbajdzjan ägnar sig åt "etnisk rensning" och begår brott mot mänskligheten när landet nu tagit tillbaka kontrollen över regionen.
– Det är inte bara en konfliktsituation, det är ett brott mot mänskligheten och bör behandlas som ett sådant, säger Armeniens FN-ambassadör Andranik Hovhannisyan.