Il palazzo, sorto su un antico convento trecentesco, conobbe l'assetto attuale a partire dalla metà del Seicento. Lo stile solenne della facciata è quello del barocco lombardo. Più tardi nel 1773, quando Milano era sotto il governo austriaco, l'imperatrice Maria Teresa d'Austria volle farne la sede di alcuni istituti culturali della città tra cui l'Osservatorio astronomico, la Biblioteca nazionale Braidese, l'Orto botanico e l'Accademia di Belle Arti.
L'incarico dei lavori fu affidato a Giuseppe Piermarini, uno dei protagonisti del Neoclassicismo in Italia: a lui si deve ad esempio il portale d'ingresso. Le origini del museo sono legate all'attività dell'Accademia di Belle Arti a cui si deve la collezione di un primo nucleo di opere (gessi, incisioni, disegni) che servivano come esempio per gli allievi. 
Quando Milano divenne capitale del Regno Italico la raccolta originaria della Pinacoteca, per volontà di Napoleone, si trasformò in un museo che intendeva esporre i dipinti più significativi provenienti da tutti i territori conquistati dalle armate francesi. Brera quindi, a differenza di altri grandi musei italiani, come gli Uffizi ad esempio, non nasce dal collezionismo privato dei principi e dell’aristocrazia ma da quello politico e di stato.
Infatti a partire dai primi anni dell’Ottocento, anche in seguito alla soppressione di molti ordini religiosi, vi confluirono i dipinti requisiti da chiese e conventi lombardi, cui si aggiunsero le opere di identica provenienza sottratte ai vari dipartimenti del Regno Italico. Questa nascita spiega la prevalenza, nelle raccolte, dei dipinti sacri, spesso di grande formato e conferisce al museo una fisionomia particolare, solo in parte attenuata dalle successive acquisizioni.