A pesar de que en 1794 se erigió como una casa rústica, en 1798 el el rey la convierte en un lujoso palacete. Para ello, encarga las obras a Juan de Villanueva, representante de la estética neoclásica en España. Al autor también del Museo del Prado, le secundó Isidro Velázquez.

El edificio, de planta rectangular, contó con la incorporación de dos alas laterales, entre las que se extiende un patio de honor, ornamentado con veinte bustos de emperadores romanos.

El Rey Carlos IV supervisó siempre la ornamentación interior, contratando a los mejores artistas de la época. Destacan el ebanista José López, el maestro ensamblador Manuel de Monjas, el dorado José Cherou, el broncista Domingo de Urquiza o pintores como Luis Japelli. También tomaron parte las Reales Fábricas y Talleres y artistas procedentes de París, como el decorador francés Jean-Démosthène Dugourc.

En el cuerpo central del edificio se dispuso un gran salón, lugar de recepción y ceremonias, así como dos escaleras monumentales. Desde el vestíbulo de entrada, la Gran Escalera conduce al piso principal que comunica con la galería de las estatuas. Las pinturas, el mobiliario, las estatuas, péndulos y relojes, conforman un repertorio inspirado en la Antigüedad y el Renacimiento. Ejemplo de esto, lo descubrimos en la ornamentación de “Verdures du Vatican”, inspirada en las Logias de Rafael.

Una de las salas más representativas de este estilo es el Gabinete de Platino. Dicho gusto neoclásico se combina con la tradición barroca de los grandes decorados en los techos, como los que realizó Tiepolo en Madrid. Un ejemplo de ello es la Sala de Compañía, destinada a recibir a los altos dignatarios, con su amplia bóveda pintada por Mariano Salvador Maella y Zacarías Velázquez. En el Salón Grande o Salón de Baile domina una alegoría político-mitológica pintada por Maella, titulada El Poder de la Monarquía española en las Cuatro partes del mundo.