Dovrebbe derivare dal nome medioevale Tarallus documentato nel 1200 a Bari e già cognomizzato a Melfi (PZ) verso la fine del 1200. In uno scritto datato Napoli 5 marzo 1281 si legge: "...Iacobo Tarallo et sociis expensoribus operis castri Melfie....".
In alcuni casi potrebbe derivare da un soprannome legato al nome comune del prodotto farinaceo.
Il cognome Taralli, molto raro, ha un ceppo nel foggiano ed uno in Abruzzo.