È ospitata in uno dei palazzi più importanti ed estesi di via del Corso. Sorto a metà ‘400 a ridosso della chiesa di Santa Maria in via Lata, nel ‘500 passò ai Della Rovere e poi agli Aldobrandini (1601), e venne portato come dote da Olimpia per il matrimonio con Camillo Pamphilj (1647). Fu allora che la mole venne ingrandita fino a via della Gatta. Capolavoro architettonico è la facciata su via del Corso realizzata da Gabriele Valvassori (1731-34). Le collezioni della Galleria vennero accumulate da Camillo, nipote di papa Innocenzo X e, come l’intero palazzo, con l’estinzione dei Pamphilj passarono ai Doria Pamphilj giunti a Roma da Genova nel 1760.