El edificio –obra del arquitecto Carlo di Castellamonte- recuerda al castillo medieval que Emanuele Filiberto tuvo que derruir para construir la Residencia de los Saboya. A principios del siglo XVII, Carlo Emanuele I, decidió levantar en ese emplazamiento el castillo actual, cuya parte más alargada adoptó el nombre de Galería de Pintura del Duque, lo que actualmente es conocido como Manica Lunga.

La colección permanente del Castello di Rivoli se establece en 1984, el mismo año en el que el museo abre sus puertas. Las galerías del museo, están repartidas en 38 salas que suponen un total cercano a los 7000 metros cuadrados de espacio expositivo. La colección documenta momentos cruciales en el desarrollo del arte contemporáneo en Italia, desde 1950 hasta la actualidad. A través de la adquisición de trabajos procedentes de las exposiciones temporales celebradas en el museo, el crecimiento de la colección también refleja la historia de las actividades del museo. Las obras de estos fondos son mostradas dentro de un programa museístico cuya intención es ofrecer una guía panorámica de la identidad cultural del museo.