El origen del palacio se remonta al siglo IX, en el que el reino musulmán de Toledo construyó una edificación defensiva que después usaron los reyes de Castilla, sobre la que en el Siglo XVI, se construyó el Antiguo Alcázar. Destruido por un incendio en 1734, Felipe V decide la construcción de un nuevo edificio en piedra y ladrillo, ubicado en el mismo lugar. Las obras se realizaron entre 1738 y 1755 estableciendo Carlos III su residencia en él en 1764. La decoración interior testimonia en gran medida los diferentes estilos artísticos habidos en su historia. De este modo, del reinado de Carlos III se conservan el Salón del Trono, la Cámara del Rey (o de Gasparini) y la Sala de Porcelana -obra de la Real Fábrica del Buen Retiro-. De lo conservado del reinado de Carlos IV, destaca el Salón de Espejos y de época Alfonso XII, el Comedor de Gala.

El Palacio alberga una selecta Galería de Pinturas, con importantes obras como el Políptico de Isabel I la Católica, obra de Juan de Flandes, Salomé con la cabeza del Bautista de Caravaggio, una imagen ecuestre de Velázquez o diferentes lienzos de Goya. Como se puede ver, a pesar de las importantes cesiones hechas al Museo Nacional del Prado, se siguen conservando in situ, valiosas piezas. La gran calidad de los instrumentos musicales y de la colección de la Real Armería, completan los importantes fondos con los que cuenta el edificio. Esta colección permanente se ve acompañada por las exposiciones temporales que el palacio suele albergar. El palacio, como bien de titularidad estatal, depende de Patrimonio Nacional.