Sur un promontoire rocheux, le château occupe un site remarquable dominant la vallée de la Graine et de la Vayres.Les bâtiments, pour l'essentiel, datent du XVe siècle avec la cour intérieure et son élégante galerie Renaissance. La partie la plus ancienne, comprenant le châtelet d'entrée et le donjon, remonte au XIIIe siècle. Lors de la Révolution françase le château fut pillé, son mobilier et ses archives dispersés. Le Département de la Haute-Vienne rachète en 1836 le château à la famille des Rochechouart. L'édifice a fait l'objet de plusieurs campagnes de restauration et de réhabilitation. En 1985, le Département décide d'y installer un musée d'art contemporain.