La Chapelle Notre Dame du Temple appartenait à la congrégation des Franciscaines Notre Dame du Temple, congrégation qui fut fondée par l'Abbé Pierre-Auguste ROUGIER (1818-1895), rattachée au tiers ordre franciscain (vers 1860).
Le fondateur développe très vite un attrait pour l'art ; il se rend à Paris où il est remarqué pour son talent de portraitiste. De même il y enseigne la danse !
C'est au décès de son père qu'il entre au séminaire de Limoges (1848) ; il est d'abord nommé vicaire à Saint Junien (1850) puis il devient curé des Salles Lavauguyon (1852) où il est trés actif.
En 1856 il s'installe au Dorat (Haute Vienne), en compagnie de sa mère, de sa sœur Louise Rougier (Sœur Claire d'Assise) et de Mesdemoiselles Marie Rambaut (Sœur Agnès) et Maria Vergnaud (Sœur Angéline et Première Supérieure Générale de la congrégation), à l'adresse actuelle 3 Rue Saint Michel.
En 1858 est créée l'Association de Marie Immaculée au Temple qui a pour but d'apporter son aide médicale et matérielle aux prêtres afin de subvenir à ces besoins, les sœurs travaillent à l'élaboration de linges et d'ornements liturgiques.
Initialement, la communauté se rassemblait dans l'oratoire qui correspond au chœur actuel de la chapelle ; c'est en raison de l'accroissement des effectifs qu'il y a eu nécessité d'acquérir des bâtiments d'habitation et écuries jouxtant la propriété pour d'une part assurer le logement de la communauté et d'autre part construire une chapelle.
Ce n'est qu'aux environs de 1898 que la chapelle connaît son volume actuel.
Les décors fins restants : vitraux signés Gustave Pierre DAGRAND (1839-1915), maître verrier bordelais. Moulures, stucs, décors floraux peints sont les témoins du passé artistique de l'Abbé ROUGIER.
Autour des années 1950-1960, la communauté quitte Le Dorat et petit à petit la propriété est morcelée et vendue au profit de particuliers.
C'est fin 2014 que la maison mère et la chapelle, derniers bâtiments restants, sont vendues et deviennent d'une part une maison d'habitation (pour ce qui est de la maison mère) et un espace d'expositions et de spectacles (pour ce qui est de la chapelle).
Afin de procéder à la restauration, la sauvegarde et la mise en valeur de la chapelle, l'association "Les rendez-vous de la Chapelle" a été créée et propose annuellement (d'avril à octobre) une programmation.