Elle fut bâtie à la fin du XVème siècle dédiée à notre Dame de Pitié et attribuée à l'ordre des pénitents blancs pour leurs usages, offices et sépultures.
Bertrand de Batz de Castelmore, oncle de d’Artagnan fit construire un hospice destiné à soigner les habitants de Lupiac et les pèlerins de Compostelle d’où son nom chapelle Saint Jacques. Cet édifice d'environ 8 mètres sur 4 est construit en pierres de grande taille ; son toit est à deux versants. Il combine le style gothique – l'arc brisé surmontant le linteau de la porte ouest – et le style transitoire gothique/renaissance – la voûte à trois tores avec deux gorges et deux filets.
Restaurée en 1882, elle est inscrite aux Monuments Historiques.
Restaurée en 1882, elle est inscrite aux Monuments Historiques.