El origen del conjunto se encuentra en una fortificación árabe construida en el siglo IX y encargada por Jalaf ibn Rasid, con motivo de las luchas contra los carolingios que ocuparon el condado de Sobrarbe.  En 1064, tras la toma de Barbastro por el rey Sancho Ramírez, la fortaleza pasa a manos cristianas y se establece una guarnición militar y una comunidad religiosa. Se construyen varias edificaciones, militares y defensivas unas, y religiosas otras. El conjunto está rodeado por una muralla de doble lienzo almenado y protegido por varios torreones; uno de ellos utilizado posteriormente por la colegiata como campanario.