Potrebbe derivare dal vocabolo latino gremium, "grembo", stante ad indicare una località a forma di dosso, ma più probabilmente si può far derivare da un soprannome originato da una modificazione del vocabolo medioevale germanico grim, "furioso, collerico", o anche da una contrazione del nome germanico Gremhard.
Il cognome Gremmo è tipico del biellese. Gremo è specifico del torinese.