El proyecto de este edificio es de 1792, pero su dueño no puede llevar a cabo las obras. En 1803 se pone a la venta y se interesan por ella los Infantes Carlos María Isidro y Francisco de Paula, hijos de Carlos IV.
Se atribuye al arquitecto Juan de Villanueva su reforma y ampliación entre 1803 y 1808. Después de la Guerra de la Independencia, sigue un periodo de abandono hasta finales del siglo XIX, que pasa a propiedad municipal.
En 1909 es adquirida por el abogado José Peláez Urquina y será conocida como «Casa de Peláez».
En 1984 fue declarada Monumento Histórico Artístico. Posteriormente la Sociedad Euroforum/Escorial la adquiere para llevar a cabo su rehabilitación y crear un centro educativo y residencial en el que actualmente se imparten los Cursos de Verano de la Universidad Complutense de Madrid y diversos cursos de formación.
El proyecto de rehabilitación lo realiza el arquitecto Miguel de Oriol e Ibarra en 1989, respetando su valor histórico, reedificando el edificio, incorporando restos históricos que se mantienen y dando al conjunto una solución definitiva y un uso continuado que hasta entonces nunca había tenido.
Casa diseñada en 1792 y adquirida en 1803 por los Infantes Carlos María Isidro y Francisco de Paula, hijos de Carlos IV, ejemplo de la arquitectura residencial noble del Real Sitio.