El antiguo palacio del tesorero de Carlos V, fue convertido por la hermana de Felipe II, Doña Juana, en convento y residencia de las mujeres de la Casa Real. A lo largo del tiempo, las hermanas fueron reuniendo donaciones que derivaron en el museo que abrió sus puertas en 1960.
Este edificio tiene una mezcla de elementos del gótico tardío y de principios del renacimiento, siendo su fachada uno de los pocos ejemplos que aún se conservan de la arquitectura madrileña del siglo XVI.
La Iglesia sufrió un incendio en el siglo XVIII siendo más tarde reconstruida. En su interior se puede ver la tumba de Juana de Austria así como un retablo de Nuestra Señora del Milagro.
El palacio conserva algunos de sus elementos originales, como el patio o la escalinata decorada en el siglo XVII. En uno de los laterales de la escalinata, aún se puede ver un retrato de la familia real: Felipe IV, su mujer e hijos.
