La création de la Confrérie des Pénitents date du 10 avril 1652, largement encouragée par l’Evêque du Puy qui souhaite combattre le protestantisme.
Au départ ils sont 37 pénitents et ont donc l’autorisation de s’installer dans la tribune de l’église St-Martin (bien plus petite que celle que nous connaissons aujourd’hui).
Beaucoup de notables rejoignent la Confrérie, ils se retrouvent près de 200, et le pauvre curé voyant le montant de ses quêtes baisser, les oblige donc à se trouver un autre local.
En 1719, ils achètent ce site qui n’est qu’une grange et l’aménagent en chapelle, ils y restent jusqu’en 1789 (Révolution).
L’architecture y est plutôt classique (absence d’un plan architectural en croix).
Lors de la Révolution, l’endroit est dévasté, il est vendu comme bien national.
Ils s’arrêtent un temps, puis se réinstallent dans la Chapelle jusqu’en 1976, date de la dissolution de la Confrérie (seulement une 20aine de pénitents).
Cette propriété diocésaine a été acquise par la Municipalité Tençoise en 1982.
La restauration intérieure a été effectuée de 1983 à 1990.
C’est en 1992 que le Musée d’Art Religieux ouvre ses portes.
Aujourd’hui, on compte encore environ 140 pénitents répartis sur 3 confréries en Haute-Loire : Saugues, Le Puy-en-Velay et Ste-Sigolène.