De två länderna bör betala skadestånd till öarnas ursprungsbefolkning, som kallas "chagossier", samt ge dem rätten att återvända till Chagosöarna, skriver HRW i en rapport.
"Storbritannien begår ett pågående kolonialt brott när de behandlar chagossier som ett folk utan rättigheter", enligt Clive Baldwin, rättslig rådgivare vid HRW och huvudförfattare till rapporten.
Öarna har varit föremål för diplomatiska konflikter i decennier. Fram till mitten av 1960-talet tillhörde öarna Mauritius, som vid tidpunkten var en brittisk koloni. Men 1965 separerade Storbritannien Chagosöarna från Mauritius och året efter tilläts USA att förlägga en militärbas på den största ön, Diego Garcia.
I samband med det tvångsförflyttades även öarnas ursprungsbefolkning till Mauritius, som blev självständigt 1968.