Don Jacobo Fitz-James Stuart y Colón
En el siglo XVIII, el III Duque de Berwick y de Liria, don Jacobo Fitz-James Stuart y Colón decide construir un palacio justamente al borde de la villa, pero con la intención de que sea donde más propicio fuera para la salud, y en parte también para la longevidad, para lo cual deciden depositar unas piezas de lomo de vacuno en los diferentes solares donde fuera viable levantar el palacio, dejando las piezas al libre albedrío durante un mes, de modo que el lugar elegido sería aquél donde se haya la pieza de entre los lomos distribuidos, que haya sufrido menor erosión respecto a las demás. Este resultó ser el lugar donde radica el palacio. El arquitecto mayor de la Villa, Ventura Rodríguez, es el responsable del proyecto. El que fuera el reconstructor del palacio tras los daños que sufre en la Guerra Civil, aparte de dotarlo del esplendor de interiorismo del que gozaba el original, dedicó sus espacios a la concentración de gran parte del patrimonio artístico del duque, de ahí que contiene una colección de pinturas, esculturas, tapices, alfombras, vasijas, lámparas, relojes y mobiliario, de las más valiosas del mundo.