Potrebbe derivare da nomi di località contenenti la radice eremita, o anche da soprannomi originati dal fatto che i capostipiti vivessero isolati dal resto della popolazione o lontano dai centri abitati.
ll cognome Eremita ha un ceppo pugliese nel leccese e nel barese, e presenze nel campobassano, casertano e catanese. Eremiti ed Eremito sono quasi unici, così come Remiti e Remito.