Breda S&P500-indexet backade 0,4 procent, Dow Jones industriindex tappade 0,2 procent och tekniktunga Nasdaqs kompositindex sjönk 0,6 procent.
Oljebolagens aktier pressades av fallande råoljepris. Bland dagens vinnare återfanns livsmedelsjätten Campbell Soup som steg 7,1 procent efter en stark kvartalsrapport.
Trots veckans nedgångar ligger S&P500 kvar på de högsta nivåerna sedan i slutet av juli.
Under onsdagen kom arbetsmarknadsstatistik som pekar på att centralbanken Federal Reserve kan komma att hålla kvar styrräntan på den nuvarande nivån.
En mer utförlig rapport om den amerikanska arbetsmarknaden som kan få stor påverkan på börskurserna kommer på fredag.