Inaugurado en 1753 en la real Casa de la Panadería, en 1773 se trasladó por falta de espacio a su sede actual, en el Palacio de Don Juan de Goyeneche. Construido por José de Churriguera en estilo barroco, fue posteriormente remodelado por Diego de Villanueva, quien le dotó de la fachada neoclásica. En esta sede se mantendría la enseñanza artística hasta que a mediados del siglo XX los estudios de Bellas Artes pasaron a la Universidad. En 1981, después de ser reformado por Chueca Goitia, se reinstalaron sus colecciones provenientes de la obras recogidas por la Junta Central de Monumentos, consecuencia de la desamortización, la colección confiscada a Godoy y obras de la propia Academia. Sobre esta base se fueron añadiendo otras de diversas procedencia, como donaciones, legados etc…, dando lugar al Museo de la Real Academia de Bellas Artes de San Fernando.

El museo ocupa treinta y cinco salas, en las que se distribuye una importante colección de pintura, dibujos, escultura y artes decorativas de los siglos XVI al XX. Entre los artistas representados destacan: Goya, de quien se conservan en el museo trece óleos; Zurbarán; Arcimboldo, la única obra de este artista conservada en España; así como Rubens, Bassano, Mengs, Reni Seghers, Crayer, Carlos de Haes, Sorolla, Muñoz Degrain o Benjamín Palencia, entre otros.