Creada en 1937 gracias a la donación realizada por el financiero Andrew W. Mellon, a la cual, a lo largo del siglo XX se han ido añadiendo otras.
El museo se divide en dos alas conectadas subterráneamente, que alojan la formidable colección de pinturas, esculturas y obra sobre papel. En el Ala Este se exhibe principalmente arte europeo desde la Edad Media hasta comienzos del siglo XX. En ella podemos contemplar obras de Rubens, Rembrandt, Van Dyck, Veermer, El Greco, Renoir, Monet, Cézanne. El Ala Oeste se consagra al arte del siglo XX con obras de las principales firmas. En el atrio del edificio nos recibe una gran escultura móvil de Calder. En 1999 se añade al conjunto un jardín de esculturas.

El 29 de septiembre de 2002, se inaugura el West Building, destinado a albergar su colección de escultura. Cronológicamente los fondos abarcan desde tallas medievales hasta piezas del XX, a través de artistas como Auguste Rodin, Edgar Degas, Aristide Maillol, Elie Nadelman, Auguste Renoir, Paul Gauguin, Wilhelm Lehmbruck, Paul Manship, Antonio Canova, Jean-Antoine Houdon, Joseph Chinard y Pierre-Jean David d’Angers, entre otros. Este nuevo edificio – realizado gracias a la Richard King Mellon Foundation – se distribuye en seis galerías, que suman una superficie de 5000 m2.