Svensken förlorade med 1–2 i set (6–1, 6–7, 3–6) mot nederländaren Tom Egberink i tredje omgången.
– Det är mitt sista Paralympics, det är lite bittert, säger Olsson till SVT Sport.
Olsson fick annars en lovande start och vann första set med övertygande 6–1 – men sedan tog åttonderankade Egberink över.
Han var starkare än Olsson i tiebreak i andra set och vann sedan det tredje med 6–3.
– Jag spelar fantastiskt i första set. Sen kommer det in misstag i andra. Tom kommer in i matchen tack vare mig. Tennis... det är små marginaler, säger han.
Den 34-årige veteranen fick hedersuppdraget att vara fanbärare tillsammans med kanotisten Helene Ripa under invigningen.
I Paralympics i London 2012 bärgade han guldet i dubbel tillsammans med Peter Wikström. Fyra år tidigare, i Peking, tog duon silver.