Se forma en la Academia de Bellas Artes de San Fernando bajo la protección de su hermano Diego. En 1759 viaja a Roma donde conoce la arquitectura romana de la Antigüedad así como las obras de los grandes maestros del renacimiento y del barroco, regresando a España en 1764 ocupando, a partir de ese momento, cargos importantes: en 1768 es nombrado director de la comunidad jerónima del monasterio de El Escorial. Inicia entonces una ingente actividad profesional bajo el influjo de la obra y el estilo de Juan de Herrera. En 1777, como arquitecto titular del Príncipe de Asturias y de los Infantes, realiza dos pequeñas villas o casinos en El Escorial: la “Casita de arriba” para el infante don Gabriel, y la “Casita de abajo” para el futuro Carlos IV, y proyecta en 1784 la “Casita del Príncipe” en el Pardo. Su principal obra es el Museo de Historia Natural, actual Museo del Prado, proyecto incluido en las reformas urbanas que Carlos III propugna para Madrid y mejor muestra de arquitectura neoclásica construida en España.