Quando nel 1651 acquistò dai Barberini il feudo di Valmontone, Camillo Pamphilj aveva in animo di realizzare un progetto così tanto ambizioso da venir definito dalle cronache dell’epoca ‘città panfilia’, una sorta di città ideale ispirata ai modelli delle teorie rinascimentali. Nel 1652 si diede avvio alla quasi totale demolizione dell’antico castello Sforza – già dei Conti di Valmontone – e nel 1654 iniziarono i lavori per il nuovo palazzo ultimati nel 1670 circa. Il progetto originario si deve al gesuita Benedetto Molli mentre la prosecuzione della fabbrica a partire dal 1666, ad Antonio Del Grande.

L’impianto architettonico appare come una soluzione intermedia tra la tipologia nobiliare e quella fortificata. Il volume chiuso e compatto del grosso blocco monumentale, ubicato in un punto strategico rispetto all’ambiente circostante, fa pensare ad una posizione funzionale all’avvistamento ed al controllo del territorio sicuramente derivante dall’antico edificio medievale preesistente. A rimarcare questo aspetto fortificato contribuiscono i profili angolari a bugne lisce che comprimono l’espansione del volume.

Dal 2003 il Palazzo ospita il Museo di Palazzo Doria Pamphilj costituito da una sezione archeologica ed una storico-artistica entrambe ospitate al piano nobile.

Nel 2024 si è concluso il nuovo allestimento, finanziato da Regione Lazio, che permette ai visitatori di ammirare le splendide sale affrescate, tutte completamente restaurate, assieme ad alcuni reperti della sezione archeologica rinvenuti nel corso degli scavi preliminari ai lavori di realizzazione della linea TAV.