Vicino alla chiesa parrocchiale è ben visibile il complesso del castello, costituito da una torre quadrata (sec. XII) e da un corpo di fabbrica più recente (sec. XV), dalle pregevoli finestre a crociera.
Il castello fu in passato dimora della potente famiglia D’Avise, e solo nel 1645 passò ai fratelli de Blonay, cambiando il nome.
La torre antica era detta “des Prisons”: nel 1787 il nobile Filippo de Blonay rivendicava il diritto indiviso con gli altri signori d’Avise di rinchiudervi i malfattori. La torre venne ceduta a famiglie del posto dai Bianco di San Secondo, mentre l’annesso edificio fu alienato dai Blonay.