Iniziato nel 1725 da Francesco Maria Angelici per volere del cardinale Pompeo Aldrovandi e portato a compimento nel 1752 da Alfonso Torreggiani, il palazzo sorge sul precedente impianto quattrocentesco della casa Aldrovandi e presenta una facciata barocca priva di portico. È arricchito al suo interno da affreschi di Vittorio Maria Bigari e Stefano Orlandi che rappresentano vicende della nobile casata. Molti dei preziosi oggetti collezionati dagli Aldrovandi si trovano oggi al British Museum. Dal 1967 il salone dell’ala occidentale ospita una sezione della Biblioteca Comunale.