Il Palazzo prende il nome dalla famiglia che lo fece costruire. Nel 1316 Scoto di San Geminiano viene incaricato da Matteo Visconti di rifabbricarlo per ospitare la sede della Società di Giustizia. La facciata gotica si presenta con due loggiati sovrapposti e una serie di trifore all'ultimo piano, che accolgono statue (in parte di Maestri Campionesi); lungo il parapetto superiore sono visibili gli emblemi araldici dei rioni e gli stemmi viscontei. Affacciandosi dal balconcino, ornato da un'aquila che stringe una preda (simbolo della giustizia) i magistrati annunciavano editti e sentenze.