Venne costruito tra il 1483 ed il 1486, sotto Sisto IV, dal cardinal nepote Giuliano della Rovere, futuro papa Giulio II, dal fiorentino Baccio Pontelli, forse con la collaborazione di Giuliano della Rovere.
È caratterizzato da una pianta triangolare, bastioni poligonali, da un cortile trapezoidale e da tre torrioni, due circolari e uno pentagonale. Lo scalone interno è affrescato con monocromi e grottesche da Peruzzi, Cesare da Sesto e Michele di Becca. Di fronte al castello sorge la cosiddetta Rocca, caratteristico borgo altomedievale fortificato nel IX secolo da Gregorio IV e per questo chiamato Gregoriopoli, poi risistemato nel ‘400, sviluppatosi attorno alla chiesa di Santa Aurea, dove fu probabilmente sepolta Santa Monica, madre di sant’Agostino, morta a Ostia nel 387, e al retrostante palazzo vescovile.