Det var efter målgång av de 183 kilometerna från Gap till Privas, en etapp som vanns av belgaren Wout van Aert, som Julian Alaphilippe tilldelades tidsstraffet på 20 sekunder.
Anledningen var att den franska hemmaåkaren drack från en flaska som han tog emot med 17 kilometer kvar till mållinjen. Enligt tävlingsreglerna är det inte tillåtet att serveras dryck med mindre än 20 kilometer kvar till mål av respektive etapp.
Alaphilippe, som har varit i totalledningen av touren de senaste dagarna, föll därmed från första till 16:e plats i det ännu jämna sammandraget.
Alaphilippe ledde Tour de France med fyra sekunder före Adam Yates efter tisdagens fjärde etapp och duon cyklade i mål samtidigt i tätklungan under onsdagen.
Men efter tidsstraffet är nu Alaphilippe 16 sekunder efter Yates, inför torsdagens 191 kilometer från Le Teil till Mont Aigoual, etapp 6 av 21. Slovenen Primoz Roglic är ny tvåa, tre sekunder bakom den nya brittiska totalledaren, inför fortsättningen.