Ubicada en el cerro de una montaña rodeada por el río Guadalaviar, fue sede de la Taifa de Albarracín y, posteriormente, pasó a manos del linaje Azagra, manteniendo la independencia de la localidad de los Reinos de Castilla y Aragón, época de la que data la mayor parte del sistema defensivo. Posteriormente, ya perteneciendo a la Corona de Aragón, se mantuvo la localidad como sede episcopal.