L’edificio, composto da tre nuclei, venne costruito tra il 1580 e il 1597 dal banchiere genovese Leonardo Spinola, giunto a Milano al seguito del cognato Tommaso Marino, il cui celebre palazzo è ora sede del Comune della città. Il progetto è da attribuire agli architetti Martino Bassi e Pellegrino Tibaldi a cui l’arcivescovo di Milano Carlo Borromeo commissionò numerosi lavori. Dal 1818 il palazzo è sede della Società del Giardino, un club per gentiluomini borghesi e sede di una celebre scuola di scherma. La ricca biblioteca che vi è conservata è costituita da circa 9200 volumi, 90 testate di periodici e da circa 450 libretti teatrali.