El templo de las letras era un lugar dedicado a las deidades de Confucio. Este era el lugar donde eran entrenados todos los talentos del país. El templo fue construido entre el 17 de abril de 1808 y el 12 de septiembre del mismo año, en encima de la colina esta la Pagoda Thien Mu, colindando en el margen izquierdo del río Huong. El templo de las letras hace frente al sur con una montaña formando un cuadrado, cada lado mide 160 metros con sus paredes circundantes. Tiene cerca de cincuenta pequeñas construcciones, de los cuales 33 estelas estuvieron inscritas con los nombres, las edades y las aldeas nativas de 239 doctores que celebraron los exámenes durante la era de los Nguyen y otras posteriores. El templo, particularmente sus construcciones adicionales, se fueron renovado varias veces durante el reinado de Minh Mang y los reyes de Thieu Tri. Muchos exámenes metropolitanos fueron organizados durante el reinado de Minh Mang y las estelas de los doctores que fueron erigidos entre 1830 y 1919.
En la mitad del siglo XX, el templo de las letras fue dañado por la naturaleza y por las guerras. Por lo tanto, sigue siendo simplemente un lugar abandonado y devastado. El templo, apenas recientemente, ha sido renovado por las autoridades locales con un esfuerzo de preservar las reliquias históricas.
