Il palazzo venne progettato da Andrea Palladio nel 1565 e costruito l’anno seguente. È uno dei rari casi in cui possiamo stabilire con certezza la scansione temporale di un’opera palladiana, grazie alla conservazione della medaglia di fondazione che riporta la data del 1566 e il volto di Isabella Nogarola Valmarana, che fece firmare i contratti dei muratori, dopo essere rimasta vedova di Giovanni Alvise Valmarana (†1558). Quest’ultimo aveva conosciuto Palladio già nel 1543, quando l’architetto aveva realizzato le strutture effimere per l’entrata a Vicenza del vescovo Niccolò Ridolfi e poi nel 1549, quando ne aveva sostenuto il progetto per la Basilica insieme a Girolamo Chiericati e Giangiorgio Trissino.
La facciata si presenta con una sequenza di lesene corinzie giganti che poggiano su un basamento rustico e che incorniciano due ordini di finestre; in alto c’è l’attico. Le due lesene alle estremità, più corte, sostengono altrettanti telamoni.
Nel 1960 l’edificio, che aveva subito gravissimi danni dopo il bombardamento del 18 marzo 1945, venne venduto dai Valmarana a Vittor Luigi Braga Rosa, che lo fece restaurare.