Su inauguración como sala de exposiciones en 1968 supone la recuperación del torreón de la Lozoya, una de las construcciones más emblemáticas de Segovia. La actual fisonomía del edificio es obra de los siglos XIV al XVI. Caja Segovia lo adquiere en 1968 haciéndose cargo de su restauración y acondicionamiento como espacio expositivo. La planta noble acoge la colección de artistas anteriores al siglo XIX y en ella se incluyen diversas piezas de cristal de La Granja, porcelanas de Meissen, dibujos, grabados, tapices del siglo XVIII y varios lienzos de primitivos catalanes, castellanos y levantinos. También se encuentran obras de Bartolomé Ayala y Mateo Cerezo.

Desde 1973 empezaron a organizarse exposiciones temporales en la planta sótano y pronto se amplió este uso a la planta principal. Este último espacio ha acogido muestras de espectro muy diverso, desde arte antiguo hasta las últimas tendencias del arte contemporáneo. El torreón de la Lozoya también programa conciertos, conferencias, proyecciones, representaciones teatrales etc.