Castillo de planta poligonal, posee doble recinto con cubos y torres cuadradas y un foso artificial excavado en la roca. El castillo aprovecha parte de la muralla y conserva restos de un frente, con elementos románicos.La torre, que hace las veces de homenaje, presenta un aparejo distinto al del resto de las fábricas del castillo. Fue propiedad de los Herrera y los Velasco (duques de Frías). Los hijos del rey de Francia, Francisco I, fueron rehenes en este castillo.