La construcción del Palacio de Buenavista data del siglo XVI, cuando el arzobispo de Toledo, D. Gaspar de Quiroga regala la propiedad al rey Felipe II, con ocasión del traslado de la Corte desde Valladolid a Madrid.