El castillo de Javier data del siglo X y en él nació y vivió San Francisco Javier, hijo de los Señores de Javier, y de aquí tomó el nombre con el que se le conocería como misionero. Consta de tres cuerpos, sucesivamente escalonados en orden de antigüedad. Destacan la Torre del Santo Cristo, bastión y capilla donde se encuentra un interesante crucifijo tardogótico y una serie de pinturas murales representando la danza de la muerte, única en España, y la Torre del Homenaje, llamada de San Miguel. La Basílica de San Francisco Javier es una iglesia adyacente al Castillo de Javier realizada a finales del siglo XIX y principios del XX en estilo ecléctico sobre parte del palacio donde vivió la familia.