Originariamente rifugio spirituale della coppia più potente di Spagna, Isabella e Ferdinando, il Retiro si trasformò in una residenza di piacere quando il ben meno devoto Filippo IV salì al trono.
Costruito dal suo valido (l'equivalente di un Primo Ministro), il Conte Duca di Olivares, tra il 1630 e il 1660 furono eretti più di 20 edifici per compiacere il re playboy, che amava balli, teatro e rievocazioni di battaglie navali sul lago centrale del parco.
Il Palacio de Velázquez non è l'unica galleria dedicata a Reina Sofía nelle vicinanze. Avventurandosi più a sud, si incontra il Palacio de Cristal, un'enorme serra costruita nel 1887 per ospitare la flora proveniente dalle Filippine, all'epoca colonia spagnola. Purtroppo, a quel tempo, anche gli indigeni filippini furono deportati e costretti a vivere nel loro "habitat naturale" a lato del laghetto ornamentale esterno. La storia oscura di questo zoo umano è stata giustamente smascherata e condannata in una mostra del 2021 dell'artista filippino Kidlat Tahimik, tenutasi nello stesso spazio.