Inaugurado en 1924. El origen de los fondos está en la colección particular de cuadros, muebles y objetos de don Benigno de la Vega-Inclán y Flaquer, II marqués de la Vega-Inclán. Esta colección es presentada al público en la exposición de la Sociedad de Amigos del Arte celebrada en octubre de 1921. En un principio la institución está regida por el mismo patronato que el Museo del Greco, creado por el propio marqués en 1910. A efectos económicos y administrativos, el museo pasa a formar parte del Patronato Nacional de Museos en 1968. El edificio donde se ubica, obra del arquitecto Manuel Martín Rodríguez que data de 1776, ha sido objeto de remodelación en diversas ocasiones.

Las salas conservan lienzos de Goya, Alenza, F. de Madrazo, Esquivel, V. Domínguez Bécquer, Carlos de Haes, Benlliure… además de diversos muebles y objetos del siglo XIX. Entre las actividades figuran, además de la celebración de exposiciones temporales, los cursos, las conferencias, los conciertos, las tertulias y las visitas guiadas.