Jerónimo Vich de Vallterra, Barón de Llaurí fue embajador de Fernando el Católico en Roma. Influenciado por la floreciente arquitectura renacentista italiana en 1525 se hizo construir un lujoso palacio de gusto quattrocentista, siendo uno de los primeros en este estilo en España. Estaba situado en la calle que actualmente lleva el nombre del Embajador Vich.
El palacio fue derribado en 1858. El patio fue desmontado y sus piezas de mármol genovés custodiadas por la Academia de Bellas Artes que en aquella época tenía su sede en el Convento del Carmen. A principios del S.XX se remontaron las piezas para crear una separación entre el refectorio y el aula capitular del convento. Y a principios del S. XXI se volvió a desmantelar y a reconstruir en el Museo de Bellas Artes San Pio V donde fue inaugurado en 2006.