Los primeros en causar conmoción por su paso por el Palacio de Cerro Castillo, fueron el presidente Gabriel González Videla y su esposa Rosa Markmann. En una ocasión la pareja salió en short a pasear en bicicleta por los alrededores del Cerro, convirtiéndose en la atracción del vecindario, pero también en objeto de comentarios, que no volvieron a repetir el paseo. González Videla prefirió no destinar todas sus vacaciones a pasarlas en Cerro Castillo. Y al ser oriundo de La Serena, nunca dejó de visitar tal ciudad.Jorge Alessandri Rodríguez iba de veraneo solo a ese palacio. Tenía pocos amigos y todos fuera del ámbito político. Al principio de su mandato estuvo convencido de vender ese inmueble, pero al poco tiempo comenzó a usarlo para sus vacaciones, de preferencia en febrero. Aún en sus días de descanso, jamás dejó de usar terno. Nunca se vio a Alessandri nadando en la piscina y casi todo el tiempo permanecía en la oficina leyendo documentos. Su gran distracción consistía en ir en su Buick al centro de Valparaíso y a la avenida Perú en la Ciudad Jardín. Siempre solo, mientras saludaba con una venia a los conocidos. Lo curioso era que, en pleno verano, cuando Valparaíso amanecía un poco nublado, se veía al Presidente usando abrigo, porque siempre temía contagiarse con algún microbio. Sólo en Viña del Mar se quitaba su tradicional bufanda.
Eduardo Frei Montalva, fue uno de los que más disfrutó de Cerro Castillo, aunque nunca permitió que se los fotografiara en ese lugar para resguardar la intimidad de su numerosa familia. Antes veraneaba en Algarrobo, donde tenía casa. Le gustaba ir a ese balneario por las pichangas en la playa. También era bueno para el pimpón y para leer. Pero sin realizar la siesta, todos los días aunque fueran cinco minutos, en cualquier lugar, en cualquier mobiliario y en cualquier postura.
Se dice que Salvador Allende no tenía vacaciones y que sólo de vez en cuando se arrancaba sin asesores ni escolta a una playa de Antofagasta, que era de su amigo Andrónico Luksic, donde descansaba. El recuerdo más vivo en este tema es el de la transformación que realizó Allende del uso que se hizo de Cerro Castillo, cumpliendo con su promesa de "abrir el Palacio al pueblo". Habilitó algunas de sus habitaciones para recibir a alrededor de 40 niños, hijos de uniformados, que se desempeñaban en puestos fronterizos, o alumnos destacados del país. Esto fue en el verano de 1972. Al igual que Frei Montalva, Allende tenía una casa en Algarrobo, que aún hoy disfruta su familia.
Como Presidente, Augusto Pinochet utilizó muy poco Cerro Castillo. Bucalemu y El Melocotón eran sus lugares favoritos, ya que en el palacio viñamarino, según él, no había privacidad. Además, Bucalemu le brindaba mayor seguridad. En sus veraneos no dormía siesta después de almuerzo. Se encerraba en su escritorio repleto de papeles, libros y revistas, a trabajar en carpetas que le llegaban a diario desde Santiago. Solía referirse a sus vacaciones como un relajo más que un descanso. Sus pasatiempos eran en esa época la lectura de libros de historia y política. En una pequeña sala habilitada en ese lugar veía junto a familiares, personal de seguridad y trabajadores de esa hacienda cintas como "El bueno, el malo y el feo", "El desierto de los tártaros" y "No disparen que soy dentista". Las películas se proyectaban tres veces a la semana.
Patricio Aylwin y Eduardo Frei Ruiz-Tagle sí gustaban pasar sus vacaciones en Cerro Castillo. Aylwin se recluía para preparar sus discursos más importantes. A los Frei Larraechea se les recuerda como asiduos visitantes, así como los gestores del Arboretum -media hectárea en la que se plantaron más de cien variedades de flora nativa- y de una completa decoración que solicitaron para recuperar el color caliza del revestimiento original, oculto bajo pintura de barco. Como casi todos, los Lagos Durán celebraban allí las fiestas de fin de año, y se atrevieron con un rojo teatral que dio más vida al cielo de los salones principales, en uno de los que según contaba Luisa Durán, se instalaba con su máquina de coser a hacer ropa para sus nietos, mientras el ex presidente caminaba por los senderos del parque o jugaba tenis con su hijo. Aquí fue donde Ricardo Lagos firmó el decreto que instauró el Día del Patrimonio Nacional, cinco años antes de que el Palacio recibiera la categoría de Monumento Histórico. Michelle Bachelet, más celosa de su vida familiar, visitaba Cerro Castillo a menudo, sobre todo para reuniones de trabajo y toma de decisiones importantes
