Le château de Vigosche (1) existait sans aucun doute au XIIIe siècle. Les origines de la seigneurie et de ses possesseurs restent obscures. Le plus ancien seigneur connu aujourd’hui est Garnier de Vigosche vivant en 1269. Son successeur, Pons de Vigosche est seigneur du fief avant 1276. Vers le milieu du XIVe siècle, la seigneurie de Vigosche passe à la puissante famille de Giac (2) par le mariage de l’héritière Amphélise de Vigosche (3) avec Jean de Giac. La famille de Giac jouit alors d’une grande faveur auprès des Princes et du Roi, tous ses membres tiennent des charges de chambellans, échansons, chanceliers ou baillis. A la fin du XIVe et début du XVe siècle, leur héritier Pierre de Giac fera rebâtir le château actuel, en 1381 il le rebaptisera CHATEAUGAY. Pour sa seigneurie et pour accroître son indépendance, Pierre de Giac obtint du Seigneur de Tournoël, Hugues de la Roche, la cession de la haute justice de : Vigosche, Pompignat et du Chalard en 1379, et du Roi la création d’un marché en 1384.