Quello che è stato definito a buon diritto "la più vistosa testimonianza della civiltà edilizia romana del Quattrocento" è un palazzo voluto da un pontefice ambizioso nonché grande mecenate. Nel 1451 il cardinale veneziano Pietro Barbo viene nominato titolare della Basilica di S. Marco in Roma. Quattro anni dopo papa Callisto III concede al prelato la zona circostante la chiesa dedicata all’evangelista, dove Pietro Barbo fa costruire la sua residenza: nasce Palazzo S. Marco. La prima concezione è quella che riprende i moduli correnti del castello-fortezza medievale, così appare in alcune medaglie dell’epoca. In realtà la fabbrica, che si protrarrà fino al 1465, sarà caratterizzata da elementi di transizione tra quel modello e quello della dimora civile del primo Rinascimento. In effetti tutta la costruzione è sormontata da merlature e da una torre detta “di Carlo Muto” o “della Biscia”, ma allo stesso tempo sul lato Est una grande altana-belvedere si affaccia su Piazza della Conca o Piazza Nova (l’odierna Piazza Venezia). Qualche anno più tardi l’elezione di Pietro al soglio pontificio, col nome di Paolo II (1464-71), dà l’occasione di ampliare il primo nucleo dell’edificio che in questi anni viene inglobato in un palazzo maestoso assumendo l’immagine che tuttora conserva. Grande fonte di materiale da costruzione sono i monumenti classici e, su tutti, il Colosseo: in questi anni diventano locuzioni comuni per scalpellini e consimili frasi come "spezar pietre a Coliseo" o "rompere travertini a Coliseo". Ma la spoliazione delle rovine romane continua: nel 1466 viene ideato il “viridario”, giardino all’italiana di forma quadrata e circondato da due ordini di logge porticate cui, all’esterno, corrispondono arcate aperte. Nei secoli successivi tali arcate verranno chiuse creando di fatto un altro palazzo che, date le dimensioni, prenderà il nome di “palazzetto”. Il complesso paolino viene portato avanti dal nipote di Paolo II, Marco Barbo, dopo il 1468, anno della Congiura dei Pomponiani, finalizzata alla restaurazione del potere laico a Roma. Protagonisti di questa cospirazione sono il Platina e Pomponio Leto, due celebri membri dell’Accademia Romana che da quel momento verrà soppressa. A causa di questo avvenimento, che allontana Paolo II dalle vicende del palazzo, si sente l’esigenza di rinforzare i caratteri difensivi dell’edificio: in questi anni viene ampliata l’antica torre. A Marco Barbo si deve anche il portico del cortile sulla sinistra della chiesa di S. Marco, eretto tra il 1470 ed il 1471, formato da due ordini di arcate (sull’esempio dei grandi precedenti classici del Teatro di Marcello e del Colosseo) ma rimasto incompiuto dopo la morte di Paolo II. Il pontefice, secondo le cronache del tempo, si spense proprio nel viridario, luogo in cui trascorreva molte ore al giorno in meditazione. Poco si può dire purtroppo sugli architetti della fabbrica marciana, alcuni documentati, altri meno, ma la cui influenza è apparsa più volte evidente: tra i primi spiccano i nomi di Bernardo Rosselino e Giuliano da Sangallo, tra i secondi quello di Leon Battista Alberti.