Il palazzo è nella zona in cui sin dal Trecento abitavano i Pigafetta, famiglia guelfa di esuli fiorentini. Nell’edificio, costruito nel 1440 da Stefano da Ravenna per Matteo Pigafetta, nacque e visse il più celebre membro di questa famiglia: il navigatore vicentino Antonio Pigafetta (1492 ca. – 1531 ca.), autore del diario di viaggio durante la circumnavigazione del mondo con Ferdinando Magellano (1519-22).
La casa venne ristrutturata in stile gotico fiorito da Matteo Pigafetta: vi si alternano così finestre trilobate, colonnine tortili, cornucopie, grifoni, e un portale rinascimentale con l’iscrizione Il n’est rose sans espine (“non c’è rosa senza spine”) che allude allo stemma dei Pigafetta.