Cecilia Malmström och Australiens tidigare finansminister Mathias Cormann stod ensamma kvar i slutstriden sedan de andra ländernas kandidater sållats bort.
Men den tidigare EU-kommissionären förlorade på mållinjen, enligt ett dokument som publicerades på OECD:s hemsida på fredagskvällen.
"Ordföranden rekommenderar rådet att utse Mathias Cormann till OECD:s näste generalsekreterare för en tidsperiod på fem år, med början den 1 juni", lyder dokumentet.
Gratulerar Cormann
Cecilia Malmström säger i ett skriftligt uttalande att hon vill tacka Sveriges regering för stödet under processen, och gratulerar Mathias Cormann till segern.
"Jag önskar honom framgång i den fortsatta processen", säger Malmström i ett pressmeddelande.
Källor uppger till nyhetsbyrån AFP att Cormann hade stöd av en knapp majoritet av de 37 medlemsländernas representanter.
"Cecilia Malmström har genomgående erhållit brett stöd från medlemskretsen och utfallet var jämnt", säger utrikeshandelsminister Anna Hallberg i pressmeddelandet.
Tidigare finansminister
Mathias Cormann ersätter Mexikos Angel Gurría som är på väg att avsluta sin tredje femåriga mandatperiod.
Cormann har en lång politisk karriär bakom sig i Liberala partiet som regerar i Australien, bland annat som den australiske finansminister som innehaft posten under längst tid. Han lämnade parlamentet i fjol för att söka jobbet som OECD:s generalsekreterare, skriver AFP.
Miljöorganisationer har haft invändningar mot Cormanns kandidatur eftersom de är missnöjda med hans arbete för att motverka klimatförändringarna.
TT har sökt Cecilia Malmström för en kommentar.