Situado en el centro de la pueblo, es el castillo más antiguo del municipio de Perloz y data seguramente del siglo XII, puesto que un documento de 1195 habla de una “sala domini” en Perloz.
Incluso en nuestros días recibe la denominación de “Ohtal” (del latín “hospitalis” y del francés antiguo “ostel”), es decir, residencia cómoda con todos los servicios.
La construcción es imponente, con cinco pisos sobre el suelo, y estas dimensiones debían tener también un significado político: la vista de la imponente casa fuerte debía causar un fuerte impacto en todos los que subían por el Valle del Lys, testimoniando el poder de la familia Vallaise. Resultan interesantes una serie de ventanas con bíforas, trilobuladas, de medio punto y de crucería, bordeadas por piedra gris. En su interior, contaba con un pozo del que se podía sacar agua fresca. Todavía se pueden ver dos caminos monumentales: en uno de ellos figura el emblema de los Vallaise, esculpido en la piedra gris.
El castillo fue incendiado durante la razzia nazi-fascista del 30 de junio de 1944: el techo fue reconstruido, pero no fue posible recuperar los dos pisos con suelo de madera.