Il Palazzo sorge nel 1170, viene rielaborato e ingrandito nel Quattrocento e inizia ad essere nuovamente ristrutturato nella seconda metà del Cinquecento. Il portale monumentale, il meraviglioso cortile e la cappella vengono progettati da Pellegrino Tibaldi che lavora al palazzo dal 1569 per volere di Carlo Borromeo. La facciata viene rifatta nel 1784 da Giuseppe Piermarini, su incarico dell’arcivescovo Filippo Visconti. A Nava Cesare si deve invece il rifacimento del corpo su Piazza Fontana. In Arcivescovado sono visibili parte degli affreschi trecenteschi che ornavano il salone al piano nobile.