La commune de Silhac possède une belle église romane du XIème siècle et de très nombreuses gentilhommières (propriétés privées) assez curieuses : Vaugeron, Besse, l'Orme, le Cros, la Mure, Arlindes... et un château du XIIIième siècle. Ce chateau du Haut-Villars comporte une façade Renaissance et des fenêtres à meneaux, une tour à machicoulis.
Une légende parle du chevalier Jacques de Hautvillars. Celle-ci raconte qu'il pouvait tout armé sauter sur son cheval sans mettre pied à l'étrier...