Abierto en 1986, el edificio que alberga el museo fue diseñado por los arquitectos Peter Gusmann y Godfried Haberer. Está localizado entre la Catedral, el río Rhin y la Estación Central de Colonia. En origen, convivían en el mismo edificio el Museum Ludwig, la Philharmonie y el Wallraf-Richartz-Museum, pero desde enero de 2001 éste, que comprendía la colección de pintura expresionista propiedad de Josef Haubrich, se trasladó a su propio edificio.

Fundado con las 350 obras de arte moderno de Peter e Irene Ludwig, que donaron su colección de Pop Art -la mayor fuera de Estados Unidos-, además de una colección de arte de vanguardia ruso del periodo comprendido entre 1906-1930 y algunos cuadros de Picasso. Se convirtió en el primer museo de Colonia que exhibía arte contemporáneo, con unos fondos que le sitúan en una importante posición en el desarrollo del arte del siglo XX y del arte contemporáneo.

El Museo continúa sistematizando su colección con frecuentes adquisiciones, entre las que destacan las de arte alemán de los años 70 y 80 y algunas instalaciones y piezas representativas de las últimas tendencias.