El edificio fue construido en 1861 ocupando la parte noroeste del Jardín de las Tullerias frente a la Place de la Concorde. En él se alojó la colección nacional de impresionistas que hoy en día podemos contemplar en el Musée d´Orsay. En 1992 es reinagurado como galería para la exhibición temporal de muestras de arte contemporáneo.
Cuenta con más de 2000 metros cuadrados dedicados a la exposición de obras, a los que debemos añadir los 300 de las salas de exposiciones situadas en el Hôtel de Sully, donde la Galerie Nationale du Jeu de Paume organiza con frecuencia exposiciones temporales sobre fotografía contemporánea.