Il Palazzo venne fatto costruire nel Quattrocento dalla nobile famiglia Pesaro, che lo abitò per circa tre secoli. In condizioni ormai di decadenza, venne acquistato agli inizi del XX secolo da Mariano Fortuny y Madrazo, che ne avviò il recupero e ne fece la propria residenza e laboratorio. Il pittore, scenografo, designer, fotografo e scultore nato a Granada e trasferitosi a Venezia nel 1898, è noto soprattutto per l'impatto che ebbe nella moda di inizio '900, quando con i suoi abiti di seta plissettata ispirati all'antica Grecia vestì dive del calibro di Eleonora Duse, Isadora Duncan e Sarah Bernhardt. Il Palazzo ospita oggi, oltre alle mostre temporanee, una collezione permanente che restituisce l'opera dell'artista nella sua poliedricità: tuniche originali, tessuti e sete stampate che rivestono le sale, lampadari di sua progettazione e fotografie.