Progettato tra il 1671 e il 1677 da Pier Antonio Corradi per i fratelli Brignole Sale, il palazzo ha una pianta a U, con due ali unite da logge. La nobile dimora è ornata da affreschi dei maggiori pittori del Seicento ligure: tra il 1679 e il 1694 Domenico Piola, Gregorio De Ferrari e Paolo Gerolamo Piola decorarono a fresco l’ala di levante, mentre quella di ponente fu opera di Andrea Carlone, Carlo Antonio Tavella e Bartolomeo Guidobono. Nel gennaio 1874 la duchessa di Galliera donò Palazzo Rosso alla sua città. 
Dopo radicali restauri, è stato adibito a sede museale dal 1961.
Il museo espone una ricca quadreria che comprende dipinti raccolti nell’arco di più di due secoli dalla nobile famiglia Brignole-Sale. Tra gli artisti esposti nella galleria dell’aristocratico palazzo genovese: Dürer, Veronese, Guercino, Strozzi, Grechetto, Van Dyck, e molti altri ancora.