Omröstningen ses som en del i maktkampen mellan Khaire och president Mohamed Abdullahi Mohamed.
Ett av trätoämnena är det val som ska hållas i februari nästa år. Khaire har krävt att det ska hållas, medan presidenten vill skjuta upp valet.
Presidentens politiska anhängare anklagar också Khaire för att ha misslyckats med att stabilisera säkerhetsläget i Somalia.
170 röstade för att avsätta Khaire, medan 8 röstade emot.
– Regeringen har misslyckats med att uppfylla löftet om att ha en tydlig plan för ett val där varje väljare har en röst, sade parlamentets talman.
President Mohamed utsåg direkt efter omröstningen vice premiärminister Mahdi Mohamed Guled till tillförordnad premiärminister.
Den avsatte Khaire har tidigare varit bosatt i Norge, och varit regionschef för biståndsorganisationen norska flyktingrådet (Flyktninghjelpen). Han har också haft en ledande position i det brittiska oljebolaget Soma oil and gas.
Somalia har inte haft något fritt och demokratiskt val sedan inbördeskriget utbröt 1991.