De estilo neoclásico, fue mandado construir por Carlos José Gutiérrez de los Ríos, siendo este embajador en la ciudad de Lisboa. El palacio está inspirado en la fachada del Palacio de las Necesidades de la capital portuguesa, donde se encontraba la embajada española por aquel entonces. La capilla de Santa Escolástica debe su denominación a la única hermana del VI conde, Escolástica Gutiérrez de los Ríos, duquesa de Béjar, fallecida en 1782 en Madrid. El Obispo de Córdoba, Baltasar de Yusta Navarro, autorizó las obras, y una vez finalizadas, fue bendecida por el canónigo de la Mezquita-Catedral.