Dödssiffran är nu uppe i sex personer. Det första offret som hittades var ett barn.
Den libanesiska statens officiella mediekanal gick först ut med att fler personer hittats döda, men siffran skrevs sedan ned.
47 personer har räddats, enligt den libanesiska armén. Orsaken till förlisningen är okänd. En av de som räddades greps, misstänkt för människosmuggling.
– Det här hände på grund av politikerna, som tvingade arbetslösa libaneser att lämna landet, sade en man utanför hamnen och som under natten väntande på nyheter om olyckan.