Frihetsberövandena skedde vid president Boubacar Keitas residens i huvudstaden Bamako.
– Premiärministern och presidenten kördes iväg i bepansrade bilar av soldater som gjort uppror, säger Boubou Doucoure, kommunikationschef hos premiärminister Boubou Cisse.
Enligt Doucoure har toppolitikerna förts till garnisonsstaden Kati strax utanför Bamako, där en större militärbas finns.
Det var från Kati de första uppgifterna om ett myteri inom militären kom tidigare på tisdagen. Även statskuppen 2012 började med ett uppror på Katis militärbas.
Afrikanska unionen fördömer militärens agernade.
"Jag fördömer med eftertryck gripandet av president Ibrahim Boubacar Keita, premiärministern och andra medlemmar av den maliska regeringen och kräver deras omedelbara frigivande", säger kommissionsordföranden Moussa Faki Mahamat på Twitter.
Dag av rykten
Till TV4 Nyheterna säger Sveriges Maliambassadör Diana Janse att rykten böljat fram och tillbaka under hela dagen men att konkreta besked lyst med sin frånvaro.
– Trots att det här har pågått sedan klockan 08 i morse har vi fortfarande inte fått någon kommuniké från något håll, säger hon.
Att bedöma hur situationen kommer att utvecklas är svårt.
– Jag tycker det är väldigt svårt att bedöma med mindre än att vi får några slags budskap från kuppmakarna om vad de har för intentioner, mer än att tvinga bort presidenten, säger Diana Janse.
Svenskar i säkerhet
Samtidigt har dagen trots allt varit relativt lugn.
– Folk har hållit sig inne så när som på demonstranter som har varit ute på Frihetstorget och visat sitt stöd för kuppmakarna, säger Janse.
Enligt ambassadören är det fåtal svenskar som befinner sig i landet i säkerhet.
– Det är ett hundratjugotal uniformerad personal här för tillfället och ett tjugotal civila.
Uppmanade till dialog
Innan han greps uppmanade Malis premiärminister Boubou Cisse soldaterna att lägga ned vapnen och efterlyste "broderlig dialog" för att lösa situationen.
"Attackerna reflekterar en viss frustration som kan ha legitima orsaker. Malis regering uppmanar alla upphovsmän bakom dessa handlingar att dra sig tillbaka", sade ministern i ett uttalande.
Frankrike fördömer
Frankrike, som sedan tidigt 10-tal har tusentals man stationerade i landet för att bekämpa jihadister, reagerar starkt på händelseutvecklingen.
"Frankrike har underrättats om myteriet som har ägt rum i dag i Kati i Mali. Vi fördömer i de starkast möjliga ordalag denna allvarliga händelse", säger utrikesminister Jean-Yves Le Drian i ett uttalande.
Även EU riktar skarp kritik mot militärens agerande.
"Europeiska unionen fördömer det pågående statskuppsförsöket i Mali och förkastar alla grundlagsvidriga försök till maktövertagande", säger EU:s utrikeschef Josep Borrell i ett uttalande.
"Följer utvecklingen"
Sverige har under flera år haft ett underrättelseförband i Mali där en liten del av personalen är placerad i Bamako. Enligt Försvarsmakten finns inga rapporter om att svensk personal har påverkats av oroligheterna.
– Men vi följer utvecklingen på plats väldigt noga, säger Magnus Lindstedt, kommunikatör vid Försvarsmakten.
FN:s säkerhetsråd kommer på onsdagen att hålla ett extrainkallat krismöte om händelseutvecklingen i Mali, på begäran av Frankrike och Niger.
Massiva protester
Sedan juni har massiva protester mot presidenten Ibrahim Boubacar Keita lamslagit Mali. Demonstranternas vrede har riktat sig mot Boubacar Keitas påstådda oförmåga att förbättra det allvarliga säkerhetsläget och få bukt med korruptionen.
Bilder från Bamako visar hur militärfordon som rullar in i huvudstaden möts av jublande människor.
Nouhoum Togo, talesperson för protestkoalitionen M5-RFP som anordnat många av den senaste tidens demonstrationer menar att tisdagens händelser "inte är en statskupp utan en folklig resning".
– Ibrahim Boubacar Keita ville inte lyssna på sitt folk, säger han.