Oblíbenec krále Jana Lucemburského Oldřich Pluh koupil kolem roku 1330 rabštejnské panství a postavil si na skalnatém ostrohu hrad. Náležela k němu kaple sv. Matouše, kterou měl na starosti plebán Johann. Pod hradem pak Oldřich Pluh založil i město a osídlil je lidmi s okolních vesnic. Z venkovanů tak rázem učinil měšťany. Svou hradní kapli přeměnil ve farní kostel, přístupný všem křesťanům, a k přesídlení přemluvil i faráře Střezivoje z nedalekých Stvolen. Tomu se však v novém působišti nelíbilo, snad mu vadily ty kopce a rušnější život. Po Oldřichově smrti se zase přestěhoval zpátky.

Další faráři si na Rabštejn už zvykli. Katolické víře a papeži zůstalo město věrné po celou dobu husitských válek a vydrželo i obléhání vojskem krále Jiřího z Poděbrad. A když roku 1483 zaútočil v Praze lid na radnice, Židy a kláštery, uchýlili se pražští karmelitáni od Panny Marie Sněžné do Rabštejna, kde jim pan Burian z Gutštejna postavil klášter.

V 16. století se však náboženské poměry v Rabštejně změnily. Hrabata Šlikové prosadili do kostela sv. Matouše protestantského kněze a všude kolem podporovali svou luteránskou víru. Tím se ovšem postavení karmelitánů zhoršilo. Jejich hnědé hábity vzbuzovaly ve městě stále větší nenávist, až roku 1532 zaútočili obyvatelé na klášter a zničili ho. Oheň se však tehdy rozšířil i na hrad.

I v dalším století to zpočátku vypadalo, že katolíci v Rabštejně vymřeli. Klášter v troskách, vrchnost i poddaní vyznávali protestantskou víru a o duše všech tu pečoval farář podobojí Krchov. Mezi nekatolíky však nebylo jednoty. Urozený pán Jáchym Libštejnský z Kolovrat se se svým sousedem svářil o mlýn na Střele a Krchova nesnášel. Nechával ho bez prostředků a zabavil mu knihy.

Po Bílé hoře se všechno otočilo. Panství bylo panu Jáchymovo zkonfiskováno (stejně jako sousedovi) a jen díky protekci (manželka byla sestrou zemřelého arcibiskupa Berky) mu byla vrácena aspoň třetina i s Rabštejnem. Když ale do Čech vtrhli na krátký čas luteránští Sasové, neskrýval nadšení, že Habsburkové zase prohrávají. Pomýleným se neodpouštělo a pan Jáchym přišel o všechno. Zemřel v bídě na neznámém místě v Rabštejně. Dcera dopravila mrtvolu do kostela a nastaly velké potíže – katolický farář, který sem dojížděl z Valče, odmítal zatvrzelého jinověrce pohřbít. Několik měsíců hnilo tělo v kostele! Nakonec se nad nebožtíkem smiloval farář z Manětína. Oba faráři se pak kvůli tomu hádali a jejich spor musel řešit arcibiskup Harrach. Pohřeb schválil.

Ještě několik let po skončení třicetileté války byl vypálený Rabštejn téměř pustý. K těm, kteří přežili, dojížděli občas faráři z okolí, cisterciáci z Plas a karmelitáni z Chýší. K upevnění katolické víry a barokní přestavbě dochází až zakoupením panství hrabětem Janem Šebestiánem z Pöttingu. Hrabě se okamžitě pustil do stavby kláštera, do něhož byl posléze uveden řád servitů. Se svými nároky se tehdy ozvali karmelitáni, ale nepomohla jim ani stížnost u papeže. Protože se stavba kláštera a klášterního kostela protáhla, nechal hrabě postavit pod dolní městskou bránou ještě jednoduchou loretánskou kapli.

Zbožnost Pöttingům určitě nechyběla. Z jejich zámku vedla nadzemní chodba do farního kostela sv. Matouše a pokračovala pak dále do klášterního kostela P. Marie. Hraběcí rodina se tak nemusela mísit mezi řeholníky a sprostý lid. Podle příjezdové cesty od Manětína byly vysázeny lípy a vztyčeny sochy světců. Pro přestárlé a chudé lidi byl pod dolní bránou postaven i špitál – barokní domov důchodců. Nebylo to však úplně zadarmo – dvakrát za den se museli špitálníci šourat z chudobince nahoru do kostela a odříkávat tam litanie.

V té době se Rabštejn znovu dočkal svého katolického faráře. Když ale farář Kober zemřel, převzal všechny jeho povinnosti převor vedlejšího kláštera. Servité tak měli ve městě mnohem lepší pozici než nešťastní karmelitáni. Roku 1769 si s velkou slávou, při níž se střílelo z děl, vysvětili nový kostel podle návrhu A. Luraga.

Naopak farní kostel sv. Matouše se hroutil a musel být zbourán. Když ale Josef II. roku 1787 klášter zrušil, servité odešli, jejich krásný kostel se stal farním a klášterní budova farou. Nový farář Zorn měl v ní na bydlení spoustu místa. Teprve roku 1837 se farář Klement uskrovnil a pustil do kláštera také školu.

Katolické náboženství mělo teď v Rabštejně pevné kořeny. Ve své zprávě vyjmenovává farář Klement s hrdostí četné kapličky, kříže a svaté obrázky roztroušené po městě a blízkém okolí. A když se tu chtěl J. Kohler z Drážďan usadit a vzít si za ženu dceru zdejšího malíře pokojů, musel se v loretánské kapli zříci své luteránské víry za přítomnosti starosty Worziska.

Kostel byl pýchou celého města a faráři stáli ve středu pozornosti. V 19. století se jich tu vystřídalo sedm: Kastl, Rückl, Höfner, Klement, Sturm, Hunger a Čtrnáctý. Vyučovali ve škole náboženství a kromě mše vykonávali spolehlivě také křty, sňatky, svěcení, zpovědi, poslední pomazání a pohřby. Některé jejich úkony byly doplňovány hudbou – nejen velebnými varhanami a zvonky, nýbrž i dechovými a smyčcovými nástroji zdejšího hudebního souboru.

Mezi farníky a jejich pastýřem vznikalo často pevné pouto. Když byl roku 1844 farář Sturm povýšen na děkana v Manětíně, uspořádal v klášteře na rozloučenou hostinu s 60 příbory. Farář Čtrnáctý působil v Rabštejně téměř 40 let a rozloučil se s farníky roku 1907. Všichni obyvatelé se postavili před klášterem do řady a naposledy mu stiskli ruku. Málokteré oko zůstalo suché. Farář v.v. pak žil v benediktinském klášteře v Praze ještě 20 let.

Velkolepou událostí, opakující se zhruba každých 10 let, bývala návštěva pražského arcibiskupa za účelem biřmování zdejší mládeže. Arcibiskupa tehdy dychtivě vyhlíželi nejen hoši a dívky, kteří se teprve po obřadu stávali plnohodnotnými katolíky, ale i dospělí. Zvlášť nezapomenutelný byl příjezd kardinála knížete arcibiskupa Schwarzenberga roku 1852. Vzácného hosta přivítaly nadšené davy se slavobránami, hraběcí rodina i všech pět cechů. Kardinál vykonal biřmování, měl v kostele hodinové kázání a poté zašel do školy, kde zkoušel děti. Hrabě Jan Karel pak provedl hosta kolem břidličných lomů a večer uspořádali vděční obyvatelé pochodňový průvod.

Avšak i katolická víra měla své meze. Když se v důsledku sjednocování Itálie dostal papež Pius IX. do nesnází a křesťané byli roku 1860 vybídnuti k jeho finanční podpoře, v Rabštejně to nikoho příliš nedojalo. Rozšířily se řeči, že kdo přispěje, bude muset přispívat pořád a mohl by být i odveden k papežskému vojsku. Marné bylo vysvětlování faráře a osobní příklad hraběte – „Petrův fenik“ tu nezaplatil nikdo.

Po vzniku republiky byl český živel ve městě posílen, čeští byli četníci i faráři: Martinů, Harant a Novák. Na toho řídící učitel Nürnberger prozradil, že nahromadil velké jmění jako feldkurát. Teprve od roku 1933 sídlili na faře zase Němci: Löffelmann, Oppermann, Hahnreich a Friedrich. Patronem kostela už nebyl hrabě Lažanský, nýbrž velkostatkář Dobrý.

Kromě Velikonoc a Vánoc byla zde největší církevní událostí tradiční květnová pouť k Panně Marii Sedmibolestné. Lidé z okolních vesnic – německých i českých – proudili ke kostelu v procesích. Moje prateta ze Štichovic vzpomínala, jaká to byla úleva, když si mohla ve Střele opláchnout nohy. Konaly se tu dvě mše – napřed německá, pak česká. A když pobožnosti skončily, začali lidé utrácet peníze. Stánky vyrostly po stranách ulice i náměstí, kde stál i kolotoč.

Zbožnost už ale nebyla taková jako v předchozím století. Farář Oppermann se roku 1935 rozčiluje, že kapličky a kříže v okolí jsou tady jen pro ostudu a navrhuje je buď opravit, nebo zbourat, když se o ně nikdo nestará.

Poslední rabštejnský farář Friedrich měl oplétačky s gestapem, ale i on byl odsunut do Německa. Poválečná doba náboženství nepřála, věřících ubylo. K občasným mším dojíždí do Rabštejna manětínský děkan. Na hřbitově vykonával i pohřby, jednou ho tam pobodaly včely.