Lagkaptenen William Troost-Ekong berättar i sociala medier att man erbjudits en bussfärd på tre timmar till spelorten, men att man nekar av säkerhetsskäl.
"Låt dem få poängen (för seger i matchen). Vi accepterar inte att åka på vägarna här för det är inte säkert. Man kan tänka sig vilka hotell eller vilken mat som de tänkt ge oss om vi fortsätter", säger Troost-Ekong.
Det nigerianska fotbollsförbundet försöker nu hitta ett hemresealternativ.
Nigerias chartrade flyg omdirigerades när det var på väg att landa i Benghazi, där matchen skulle ha spelats, sedan den libyska regeringen inte godkänt landningstillståndet. I stället landade man på en öde flygplats där dörrarna är låsta och det inte funnits varken mat eller dryck.
En av lagets ledare Victor Ikpeba, som var med och tog OS-guld i Atlanta 1996, tycker att Libyen borde bli uteslutet från internationellt fotbollsspel.
– Det är ett högriskland och man undrar vem som tillåtit dem att spela hemmamatcherna i landet. Laget har synat deras bluff och spelar inte matchen, säger han till AFP.
Ett formellt klagomål har skickats till Afrikas fotbollsförbund. Nigeria besegrade Libyen med 1–0 på hemmaplan i Uyo i fredags och leder kvalgruppen där Libyen är sist.