Il Palazzo fu costruito nel XII secolo, ma il suo aspetto attuale risale alla fine del XIV secolo. È chiamato anche "Ca' del Guardian" poiché nel 1476 vi abitava Angelo Fontana, custode dell’attigua Porta Orientale (demolita nel XIX secolo). La casa si sviluppa attorno ad un cortile porticato su tre lati, il quarto lato è un semplice muro di confine. Un tempo la facciata era coperta da affreschi del Bramante o del Bramantino ora quasi del tutto scomparsi.