Dovrebbe derivare dal cognomen latino Panothius derivato da un soprannome greco originato dal fatto che il capostipite avesse delle grandi orecchie: "... dux audivit esse in latere terre illius supra mare nominum genus indomitum et populosum, qui Panothii vocantur. Illud nomen a latitudine aurium mutuaverunt. Nam pan totum, othis auris dicitur. ..".
Il cognome Pannozzo ha un grosso ceppo nel latinense. Pannozza è praticamente unico. Pannozzi sembrerebbe specifico di Terracina nel latinense.