A finales del siglo XIX los terrenos son heredados por doña María de los Milagros Elduayen y su esposo Fernando Quiñones de León, Marqués de Alcedo, los cuales reformaron del edificio. La pronta muerte de doña María hizo que el pazo pasase a manos de su hijo Fernando, IX Marqués de Valladares. En 1918 este muere sin descendencia dejando como heredero a su padre y como usufructuaria a su esposa, Mariana de Wythe. El 12 de diciembre de 1924 el padre dona al pueblo de Vigo la propiedad, condicionada con la disponibilidad de un museo y un parque público.
Los jardines se realizaron a finales del siglo XIX, probablemente por la empresa portuguesa de jardinería radicada en Porto, Jacintho Mattos, hoy desaparecida, por orden del Marqués de Alcedo. Podemos observar partes bien diferenciadas: el jardín de acceso, la rosaleda, el jardín francés, el jardín inglés , la solana al fondo o el bosque.
El espacio de jardín esta entorno al edificio. Coincide con los jardines de la Francia Barroca
El jardín presenta diversas variedades de plantas, algunas centenarias gracias al clima en Vigo. Se pueden observar especies como el camelio del jardín francés, cuya edad ronda los doscientos años, los tuliperos originarios de Virginia y los viejos magnolios de la pradera entre los que se encuentra el más grande de Galicia. Esta cuidada vegetación se ve enriquecida por esculturas y diversos monumentos.
