[testo tratto dal volume "Guida storico-naturalistica di Toffia" 1991]
Toffia appare raccolta su uno scoglio a forma di cuneo. Una tradizione suggestiva, anche se poco fondata scientificamente, dice che anticamente il blocco roccioso di Toffia e quello del Monte degli Elci erano un'unica massa e che il primo si è staccato dal secondo, precipitando; da cui i rispettivi nomi di Sasso Mosso e Sasso Fermo.
Sull'origine del nome del paese ci sono almeno due ipotesi: una lo fa risalire a Teofilo o Teobaldo, suo fondatore; l'altra a tophium, nome che negli autori latini indica a volte la roccia di mare, durissima, su cui appunto sorge Toffia (m. 262 s.l.m.).
La posizione e l'aspetto dell'abitato fanno subito pensare che la sua costruzione fu realizzata a scopo difensivo; Toffia di oggi risale infatti al Medio Evo, quando divenne necessario trovare luoghi che permettessero di prevenire le aggressioni improvvise dei Saraceni e difendersi dai loro attacchi. La zona circostante risulta comunque abitata o almeno fittamente frequentata già in epoca pre-romana.