Se crea en 1969, impulsado por la Diputación Provincial de Tarragona, pero no abre sus puertas definitivamente hasta 1991. Está situado en la Casa de Martí, unión de tres antiguos inmuebles entre los que se encontraba el Colegio Jesuítico de los Santos Reyes.

El motivo de su fundación es la adquisición por parte de la Diputación, de todas las obras del escultor Julio Antonio, un legado al que se sumarían con el tiempo las donaciones de los escultores Santiago Costa, Salvador Martorell y la del pintor Josep Sancho. También han pasado a engrosar los fondos del museo las obras ganadoras de los premios Julio Antonio de escultura y Josep Tapiró de pintura. Ocasionalmente organiza exposiciones temporales.