Utöver att ha varit ordförande i åtta år, sedan 2015, har Brömster även varit en del av styrelsen i tolv år.
"Det har på många sätt varit en fantastisk tid, med både med- och motgångar, där drivkraften hela tiden har varit att uppleva styrkan i det som vi inom ridsporten kan åstadkomma tillsammans", säger han i ett uttalande på förbundets hemsida.
Svensk ridsport har den senaste tiden skakats av flera fall av sexuella trakasserier och förbundet har fått kritik för hur man har hanterat detta.
I september presenterade förbundet en rad åtgärder. Ett rådgivande trygghetsråd ska inrättas inom ridsporten, en förbundsövergripande operativ grupp tillsättas och värderingar och regelverk stärkas.
– Sexuella trakasserier är helt oacceptabelt och vi ser på möjligheten att få bort det helt, sade Brömster i september.
Enligt förbundets pressansvariga Katarina Gustafsson har Brömsters avgång inte att göra med den senaste tidens turbulens.
– Han får ju tala för sig själv, men som jag har uppfattat det har inte hans avgång att göra med kritiken som har varit. Utan att det handlar mer om tidsperioden och att det här är en bra tajming att sluta, säger hon till SVT.
Svenska ridsportförbundets nästa stämma hålls i maj 2023.