Grier spelade 14 säsonger i NHL, varav tre i San Jose (2006-09).
Nu efterträder han Doug Wilson som avgick på grund av hälsoskäl tidigare i år.
Ishockey brukar beskrivas som en sport för vita, att Grier nu blir den förste svarte general managern är stort även för honom själv.
– Det betyder mycket, det är inte något jag tar lätt på. Det innebär ett stort ansvar och jag hoppas att det öppnar dörren för fler, säger Grier vid en presskonferens.
Grier kommer från en familj där fler varit lyckosamma idrottsledare. Hans bror Chris är general manager för NFL-klubben Miami Dolphins och pappa Bobby hade både tränar- och framskjutna ledaruppdrag i New England Patriots och Houston Texans.
Grier kommer till en klubb som går igenom en ombyggnad. Laget där backvirtuosen Erik Karlsson är en av stjärnorna har missat slutspel de tre senaste säsongerna.
I förra veckan beslöt klubbledningen också att sparka huvudtränaren Bob Boughner och tre assisterande tränare.
Förutom Erik Karlsson spelar också forwarden Jonathan Dahlén i San Jose.