Construido entre 1846 y 1847, este edificio palaciego del siglo XIX es obra del arquitecto Aníbal Álvarez Bouquel. Fue un encargo del banquero y bolsista Manuel Gaviria y Douza, Marqués de Gaviria, y se convirtió en uno de los palacios más lujosos de su época, siguiendo modelos romanos e influencias neoclásicas, al estilo de los palacios renacentistas italianos. Fue inaugurado en 1851 la reina Isabel II y fue muy conocido en su época por las fiestas que se celebraban y que se podían observar desde la calle a través de los balcones del salón. Destacan los frescos de los salones, obra de Joaquín Espalter y Rull. En 1977 fue declarado Bien de Interés Cultural.