El palacio blanco fue construido por los franceses a partir de 1898 a 1916 que era utilizado como casa para los días de fiesta durante los veranos por el general francés Paul Doumer gobernador, el edificio fue nombrado Villa Blanche después por su hija favorita. El significado del nombre "chalet Blanche" en vietnamita coincide con la mirada exterior del edificio por lo tanto que la gente local estaba en el hábito de llamarlo "Bach Dinh", palacio de blanco.

Más adelante otro general francés Govenors también utilizó el palacio blanco como su hogar y lugar de recreo. Y así fue llamado "Villa du Gouverneur" (palacio del gobernador). Luego Ngo Dinh Diem y Nguyen Van Thieu utilizaron el palacio blanco como un lugar para vivir y así que el edificio también fue llamado "Dinh Ong Thuong" (palacio del estado principal). El palacio blanco esta construido con un estilo y arquitectura francesa del siglo diecinueveavo, el exterior que esta adornado con los parterres antiguos de flor junto con cuadros y estatuas que incorporan los retratos de la antigua Grecia. La casa blanca era también el lugar en donde pusieron a rey Thanh Thai en observación en 1909-1910 por sus ideas contra colonialismo francés, antes de que él fuera exilado por los franceses a la isla de la reunión en África. Recientemente, el palacio blanco se ha convertido en un museo en donde se exhiben las antigüedades encontradas en Hon Cau-Con Dao.