L'attuale Palazzo del Governo era convento dei Padri Celestini. Nel 1353 il Conte Gualtiero VI fece ai Monaci generose donazioni per la fondazione della loro Chiesa e Convento nel sito ove oggi sorge il castello. Nel 1539 Carlo V volle ampliare e fortificare il castello e fece demolire le sacre costruzioni. I lavori di costruzione del convento iniziarono il 1959 sotto gli Abbaziali di Don Matteo Napolitano e il Don Girolamo La Sena. I lavori furono completati nell'anno 1695. La costruzione è attribuita all'architetto leccese Giuseppe Zimbalo. L'atrio del Convento è inquadrato da 24 archi su 44 colonne, alle quali nel restauro del 1811, furono addossati alcuni piedritti sui quali corre una balconata. Nei bizzarri capitelli di stile composito e nelle chiavi delle volte del portico quadrilatero sono scolpite lettere iniziali mai decifrate e vari stemmi familiari. La facciata molto elegante è ricca di decorazioni che incorniciano le ventuno finestre, di cui le due più esterne superiori posseggono balaustre.