Ett av dödsoffren är ett barn, säger José Ricardo Orozco, guvernör i provinsen Tolima, till en lokal radiostation.
– Runt 30 personer är allvarligt skadade, säger han enligt AFP.
Bilder från platsen som publicerats på sociala medier visar hur en tre våningar hög läktarsektion rasar på bara några sekunder, och människor som flyr platsen.
Olyckan inträffade på söndagseftermiddagen, lokal tid, när allmänheten tilläts delta i själva tjurfäktningen, och ett stort antal människor befann sig inne på arenan.
Minst två tjurar tros enligt lokala medier ha flytt ut på stadens gator.