Construido en la calle Fernán González, en pleno Camino de Santiago y en la zona más lujosa de la ciudad renacentista, donde los mercaderes enriquecidos y ennoblecidos situaban sus residencias.
Frente a la puerta catedralicia de la Coronería, se levantaba en la segunda mitad del siglo XV la casa de los Colonia. El mercader Nicolás de Gauna, encargó al artista cantero Juan de Vallejo y al maestro carpintero Juan de Aras, en 1550 la construcción de un palacio en este solar.
En 1565 fue adquirido por el mercader y regidor Andrés de Maluenda y el edificio se convirtió en la casa señorial del mayorazgo de los Maluenda. En el siglo XVII el titular era la familia Brizuela y la casa se conoció durante el XVII y XVIII como Casa de los Brizuela. A finales del siglo XVIII estuvo habitada por Antonio Valdés y Fernández Bazán, Bailio General de Marina, quien la vendió a Heliodoro Jalón, marqués de Castrofuerte, que la convirtió en casa de vecindad.
Los Condes de Castilfalé compraron la propiedad en 1920 y llevaron a cabo una transformación del palacio con un estilo postmodernista apreciable en la actualidad.
