Eretto nel 1406 per Antonio da Penne, gran siniscalco del re Ladislao di Durazzo, è un particolarissimo esempio di architettura quattrocentesca che fonde elementi catalani con stilemi fiorentini, riscontrabili soprattutto nell’uso del “bugnato”. La facciata è arricchita con gli stemmi del casato, con al centro una piuma e con i gigli angioini, mentre sul cornicione, sostenuto da piccoli archi acuti, sono ben visibili i simboli araldici dei Durazzo. Nel 1683 l’edificio passò all’ordine dei Padri Somaschi fino alla soppressione dell’ordine avvenuta durante il decennio francese (1806-1815). Il palazzo venne quindi messo in vendita e acquistato dall'abate Teodoro Monticelli, nobile dei baroni di Cerreto, illustre vulcanologo che qui vi trasferì la sua collezione.