La fortaleza de Hervás se halla en el exterior de la iglesia de Santa María donde se encuentra el antiguo bastión-fortaleza, es de origen templario construido en el siglo IX de Segura de Toro del que se conserva parte de la torre y su muralla medieval. Exteriormente se encuentra unido a la iglesia, fue construido con grandes sillares de piedra de fábrica.

Desde la parte más alta de la torre tiene una de las vistas más impresionantes del conjunto de la población, además de la sierra cercana y todo el entorno natural de la villa de Hervás.