Le château seigneurial de la Tour de Ville est situé légèrement en hauteur par rapport à l’église de Sainte-Marie Madeleine lui conférant ainsi une position dominante.
L’ancêtre des habitants de cette tour fut Guido, mentionné dans un pacte d’alliance conclu avec le Comte de Savoie pour la prise du fort de Bard en 1242. Le dernier descendant masculin fut Grat Philibert de La Tour lequel mourut en 1693. Le blason de la famille représente un lion doré avec des griffes et une langue rouge rampant sur un écusson noir accompagné du proverbe « Praecibus et Operibus » (avec les prières et les oeuvres).
Le château passa ensuite dans les mains des familles Aymonier et Carrel et finit par rester dans la caisse des pauvres de la paroisse de Saint Laurent à Aoste, c’est pour cela qu’elle fut ensuite appelée « Tour des pauvres ».
Étant tombé en ruine, le château fut vendu en 1864 à un certain Vincent Carlin qui le vendit à son tour en 1885, à l’évêque d’Aoste de l’époque, Auguste Duc, qui le restaura et en fit sa résidence secondaire pour l’été. En 1921, la tour passa dans les mains des barons Gerbore de Saint-Nicolas et depuis 1945 est la propriété d’une famille milanaise.

A l’origine, le château de La Tour de Villa comprenait presque entièrement la tour centrale.
Les travaux de restauration n’ont pas reconstruit la partie occidentale et la partie nord, permettant de laisser place à une magnifique cour avec vue sur la plaine.
Aujourd’hui, le complexe comporte deux parties bien distinctes : la tour du XIIème siècle et la partie habitée dont la structure en forme semi-circulaire date du XVème siècle. La tour, à la base carrée, s’érige au centre d’édifices situés sur un rocher sortant de la terre. De longues cales supportent la base de la structure des murailles, et sont surtout positionnées dans les angles. La tour s’ouvre sur l’extérieur grâce à deux portes situées sur la façade nord : la porte initiale se trouve à une hauteur de 7,40 m, avec un cadre très solide, l’autre est accessible grâce à un double escalier et fut ouverte grâce aux travaux de restauration réalisés au XIXème siècle.
L’intérieur de la tour se compose de trois étages avec un grenier en bois auquel il est possible d’accéder grâce à un escalier en escargot. Une plate-forme en plomb constitue le toit de la tour crénelée ainsi que un splendide belvédère. La zone habitée, qui a des doubles-fenêtres à la structure magnifique, se présente sur trois étages.
Les salles suivantes présentent un intérêt particulier : la salle de réception ainsi que sa salle majestueuse, la chapelle abritant des peintures que l’on doit à la famille des Artari, la salle des écussons où sont présentés les blasons des principales familles nobles du Val d’Aoste, situées au-dessous l’écusson de la Maison de Savoie.