El rey Carlos III es quien decide la construcción de este edificio. Estaba destinado a los trabajadores que intervenían en las obras de las nuevas casas del Real Sitio, debido a los continuos accidentes y enfermedades que ocurrían cada vez, con mayor frecuencia.
El proyecto fue realizado por el arquitecto Juan Esteban en 1771 y se inaugura en 1773, pero sólo con una parte en uso. La planta del edificio es rectangular y su perímetro se ha mantenido hasta la actualidad.
A partir de 1781, será el arquitecto Juan de Villanueva quien se encargue de las obras del edificio. En 1801, proyecta la prolongación de la sala principal, cuyos costes se sufragan con la venta de las propiedades del Hospital.
Después de la revolución de 1868, la titularidad del edificio pasa a ser municipal, conservando las funciones sanitarias que mantuvo hasta los años 80.
A partir de 1943, se denomina «Hospital de la Alcaldesa», haciendo referencia a Doña Carmen Polo, quien había sido nombrada Alcaldesa honoraria.
En la segunda mitad del siglo XX, se llevan a cabo varias reformas importantes. En el año 2002 recupera el nombre antiguo, denominándose «Centro de Salud San Carlos».
Actualmente alberga el Centro de Salud de San Lorenzo de El Escorial, dependiente de la Consejería de Sanidad de la Comunidad de Madrid.
Hospital mandado construir por Carlos III para atender a los trabajadores de las obras del Real Sitio, uno de los primeros hospitales de beneficencia de España y ejemplo de la política ilustrada del monarca.
Hospital mandado construir por Carlos III para atender a los trabajadores de las obras del Real Sitio, uno de los primeros hospitales de beneficencia de España y ejemplo de la política ilustrada del monarca.