A Szármány-hegy ősidők óta, valószínűleg már a pogány korban is kultikus, istentiszteleti hely volt. Már a XV. században a szentföldi ötöskereszt alakjában öt kápolna állt itt erős védőfallal körülvéve. A kápolnák őrzését id. Lázár István, a Szármány hegy birtokosa 1642-ben P. Kolozsvári Bertalan ferences szerzetesre bízta, akihez később olaszországi szerzetesek csatlakoztak. P. Bertalant I. Rákóczi György kálvinista vallású fejedelem űzte el, a többi szerzetes pedig elpusztult pestisben 1646-ban. Az elárvult kápolnák őrzését egy remete vette át.
1665. jun. 15-ig csak egy remete lakott a szárhegyi custodiában. Ekkor a provinciális P. Taploczai Görög Istvánt - első rendházfőnököt - néhány szerzetessel együtt Szárhegyre küldötte, aki ifjabb Lázár Istvánnal a kápolnák örökös átengedése iránt szerződést kötött, a kolostort megalapitotta. Titulusa ellenére búcsúját nem Nagyboldogassonykor tartják, mivel ez a plébániatemplomra származott át. A kolostor temploma egyben búcsújáró hely is, kegytemplom, különösen a kilenckeddi szertartások idején.
1665-ben ifj. Lázár István a ferences rendnek adományozta a kápolnákat, valamint a kápolnákat övező területeket. 1665-től 1669-ig a kolostor házfőnöke P. Taplocai Görög István volt, aki az erdélyi ferences rend egy meghatározó jelentőségű elöljárója volt, valamint az ő idején épült fel a kolostor kezdetleges épülete is. Id. Lázár István gróf már az alapítás évében, 1642-ben a ferencesek gondjára bízta a szárhegyi kápolnákat. 1648-ban a szárhegyi ferencesek el kellett hagyják a kolostort és félbe kellett szakíani az építkezési munkálatokat, mivel Rákóczi György Decretuma nem engedélyezte a ferencesek számára Csíksomlyón és Mikházán kívül ferences zárdák fenntartását. 1664-től Lázár István újra ide telepíti a ferenceseket és Apafi tilalma ellenére itt tartja őket. Ekkor működik itt Kájoni János is. 1771-től a Norma elnevezésű iskolát működtették, mely közel 150 évig tanitézményként is működött, egészen 1906-ig. A faluból 1700-tól 1948-ig 42 ferences került ki, a zárdában fennállása óta 800 ferences barát lakott, melyből 52-en, köztük Kájoni János, itt is vannak eltemetve.
A zárda ún. obszerváns építkezés, temploma barokk stílusú.
Faragott, barokk oltárait Wasserman Henrik tiroli származású
ferences testvér készítette el 1759-60 között a régebbi részek
felhasználásával.
1665-ben P. Tapolczai Görög István a legnagyobb
kápolnát templommá alakította át, amihez
P. Kájoni János fából zárdát épített 1669-ben, kinek
a mellszobra ma is megtalálható a kolostorfal egyik fülkéjében.
1666. május 22-én a zárda és a templom leégett majdnem az egész
faluval együtt. A harangok megolvadtak és a zárda egész berendezése
teljesen odaveszett. P. Vásárhelyi Budai Bernardin pedig 1675-ben a
sekrestyét és a templom melletti folyosót toldotta hozzá.
P. Kálmándi Ferenc a zárda keleti szárnyát és a tornyot építette fel,
majd P. Zsigrai Modeszt és P. Veress Dániel a zárda délkeleti részét
építették hozzá s nagy javításokat végeztek,mert 1707-ben Achton labanc
ezredes a gyergyói kurucok ellenállását megbosszulva nemcsak a Lázár
kastélyt égeti fel, hanem a zárdát is.
1709-ben a zárda tűzvész martaléka lett.
1711-ben azonban amikor újrafelszentelésre
állt, akkor visszaminősítették rezidenciává.
A zárdát és a templomot P. Csergő Krizogon
szárhegyi születésű barát építtette újra 1752-ben,
mely alkalommal a templomhoz építette a déli oldalon
levő Mária kápolnát, továbbá a kolostor másik két szárnyát is.-ben
1754-ben újra kolostori rangra
emelték, Csergő Krizogont
nevezték ki gvárdiánná, kinek rendházfőnöksége alatt a kolostor
benépesedett.
1872-ben tűzvész pusztít a faluban, a templom is leég,
elpusztultak írásbeli hagyatékai, harangjai is
megolvadtak. 1879-ben Fogarassy Mihály erdélyi püspök
adományoz egy harangot, egy másik a falu adománya volt,
és végül a tűzben megolvadt ércből öntenek egy kis
Szent-Antal harangot.
Az újabb építkezéseket P. Venczel Adorján
végzi el, majd 1900 után a templom berendezését fokozatosan
kicserélik, különösen a gyergyószentmiklósi Vákár család
jótékonyságából, melyet az általuk finanszírozott
színes üvegablakok is megörökítenek.
Orbán Balázs jegyzi az alábbi legendát:
"
E kápolnáknál kellett
történnie azon győzelemnek is melyet
a vén szárhegyi barát oly hősies önfeláldozással
készitett elő, mert a hagyomány szerint Mihály vajda
rémkorában, az előbb ámitásai által félrevezetett
székelyek felismerve benne az álbarátot és a magyar
faj esküdt ellenét, fegyvert ragadtak ellene, a Szárhegy
melletti Szármány völgyében volt a gyergyóiak serge,
mely már Mihály vajda előcsapatait többször visszanyomta,
nagy erőt küldött azért ellenök, mely sereg, midőn
Szárhegyre ért, a kolostorra tört s bort kért; egy
öreg szerzetes maradt csak is itten, mert a többi táborban
volt, az öreg előadta a pinczekulcsot s csakhamar neki
estek a hordók tartalmának s azt kiüriték, de csakhamar
lankadni kezdtek, s mert a borban álompor volt, csakhamar
elaludtak, a józanabbak megölték ugyan a refectorium
keresztjéhez menekült Pater Istvánt; de a szármányi
székely tábor is csakhamar megjött s az alvókat mind
foglyává tette. Pater Istvánt pedig a templomban
temették el, és sirjához sokáig járt hálaimát mondani még a késő ivadék
is."
A kolostor egyik leghíresebb lakója, a Gyergyószárhegyen tevékenykedő és ott elhunyt Kájoni János (1629 – 1687), Székelyföldön működő tudós ferences szerzetes volt, aki a kor szellemének megfelelően számos területen dolgozott kimagasló eredménnyel. Számon tartják őt, többek között, mint orgonista, orgonaépítő, énekszerző, fordító, nyomdász, könyvgyűjtő, választott apostoli helyelnök és botanikus. Az általa összeállított és utólag róla elnevezett Kájoni-kódex a kelet-közép-európai régió, azon belül Erdély zenetörténetének fontos forrása, a 17. század egyik legjelentősebb kézirataként tartják számon.