Obyvatelé Rabštejna se scházeli nejen při církevních událostech a tancovačkách, ale vedli i čilý spolkový život. Roku 1881 byl zde založen spolek veteránů – těch, kteří „ve vojsku dobře sloužili“. Účelem spolku byla vzájemná podpora ve stáří a při pohřbech, dále „zachování vojenského ducha, působení na mládež a odvracování nemravnosti“. V tomto duchu byl také vysvěcen jejich prapor. Velitel spolku mohl nosit šavli.
Užitečnější než staří veteráni byl zdejší hudební soubor vedený kantorem. Jeho členové hráli nejčastěji v kostele, na hřbitově a při bálech v zájezdním hostinci na náměstí. V okolních vesnicích byla rozšířena pověra, že dívka, která si zde třikrát po sobě zatancuje, se brzy vdá.
O Vánocích roku 1874 se konala ve škole hudební zkouška na svátek sv. Cecílie za řízení učitele Wirtha. Tóny doléhaly až do zámku, a aby se muzikantům lépe hrálo, poslala jim laskavá hraběnka Marie Lažanská sud piva. Milý dárek přišel vhod, a tak se stalo, že po ukončení zkoušky ztratil obuvník Fischer orientaci a zabil se pádem z třímetrové zdi u kostelních schodů. Nikdo si toho nevšiml, tělo bylo nalezeno až druhý den ráno.
Ve městě byl založen i okrašlovací spolek, který se snažil, aby byl Rabštejn co nejkrásnější. Především pro lufťáky zřídil nad jezem plovárnu se dvěma budkami na převlékání. Dno je zde sice bahnité, ale zato bylo na louce pro taškařice plno místa. Provozovaly se tu veselé hry a brnkalo se též na loutnu.
Po vzniku republiky byly založeny další spolky – školský, divadelní. Další se jmenoval Edelweis (Protěž) a usiloval o zduchovnění zdejšího života. V jiných spolcích se obyvatelé utvrzovali ve svém němectví.
Ze všech rabštejnských sdružení byl rozhodně nejdůležitější hasičský dobrovolný sbor. Na boj s červeným kohoutem byli zdejší lidé dobře připraveni, nedostatek vody nahrazovali důmyslnou organizací. Již roku 1835 tu platil řád hašení požáru, podle něhož měl každý obyvatel své povinnosti. Většinu požárů se dařilo zkrotit v zárodku, časté byly i lesní požáry. Ten z roku 1845 způsobil drvoštěp, který si ohříval na ohni jídlo, požár z roku 1856, zjištěný během mše, sváděli lidé na kuřáka, který v ten čas v kostele chyběl. Obyvatelé si museli zvyknout ignorovat dým z milířů, které v okolních lesích romanticky čadily ještě v době mezi světovými válkami.
Hasičský dobrovolný sbor byl založen roku 1877 a jeho prvním velitelem se stal učitel Franz Wirth. O dva roky později pak posvětil farář Čtrnáctý ruční stříkačku. Sbor se skládal z pěti částí: oddílu u stříkačky, oddílu lezců, oddílu demoličního, oddílu donašečů vody a oddílu ochranného (tito muži hlídali vynesené předměty a zabraňovali panice).
Největší požár ve 20. století tu propukl roku 1932 na půdě hotelu Emila Waltera na náměstí, dva týdny poté, co si hoteliér koupil motocykl. Rabštejnský hasičský sbor se svou zastaralou stříkačkou a pod vedením kominíka Böhma, jakož i početní hasiči z okolí se marně snažili hotel zachránit. Voda z vodovodu nestačila, hadice museli natáhnout až k mostu. Přihlížejícím občanům bylo jasné, že lufťáci se tentokrát budou muset poohlédnout po jiném ubytování. Různě dopadly sousední budovy. Zatímco četnická stanice, krytá břidlicí, ohni odolala, domek sester Týzlových s šindelovou střechou lehl popelem. Nebohé sestry stačily vynést jen peřiny a pár drobností.
Obyvatelé by se asi příliš nezlobili, kdyby vyhořela i četnická stanice, protože jim určitě nebylo po chuti, že nad pořádkem zde po celou dobu první republiky bděli výhradně Češi: Kural, Benda, Leška a Strašil. Svou práci vykonávali četníci poctivě. Honili žebráky a pokoutní řezníky, vyšetřovali krádeže, výhružky, pokousání utrženými psy a jiné příhody. Do okolních vesnic jezdili na kole. O stíhání kočovných cikánů musel psát strážmistr celoroční zprávu a také se vzdělanci, kteří se dovedli písemně ohrazovat, byly potíže. Ředitel Štika z Prahy chytal se svým šoférem ve Střele ryby a hajný jim zabavil prut. Mezi místními se našli i lidé, kteří měli k četníkům menší respekt. Příležitostný dělník Track jel za tmavé listopadové noci bez rozžaté svítilny městem dolů a málem strážmistra porazil. Při následném výslechu však drze uvedl, že v té době spal doma v posteli.
Tak jako všude, i zde se vztahy mezi Němci a Čechy zhoršovaly. I sem přece doléhaly zprávy o sílícím Německu a jeho územních požadavcích vůči ČSR. Nechuť ke svému státu vyjadřovali někteří hospodáři tím, že 28. října vyváželi ze svých chlévů hnůj. Stavbu betonových bunkrů v těsné blízkosti města sledovali obyvatelé s velkým neklidem. Tady se měli čs. vojáci bránit, až by agresor pronikl od pohraničních hor do vnitrozemí.
Do dění v Rabštejně začala zasahovat i Sudetoněmecká strana. V září roku 1937 hodlali henleinovci zneužít pro své cíle výročí 600 let od založení města. Že byl Rabštejn založen českým šlechticem a osazen českými venkovany, jim nevadilo. Ministerstvo vnitra však provokace nepřipustilo. Četnická posádka byla posílena o 100 mužů, a protože navíc ještě celý den pršelo, z oslav nebylo nic.
Říjnové dny roku 1938, kdy do Rabštejna vtáhla německá armáda, byly pro zdejší občany obdobím slávy. Ve zjitřené době vznesli nejhorlivější Němci do Žlutic telefonický dotaz, zda mají zbylé Čechy postřílet. Dostali odpověď, že nemají zabíjet nikoho. Pár Čechů pak zde v tichosti přežilo válku. Obchodník Jindra jim zpočátku odmítal prodávat potraviny, ale byl novým strážmistrem napomenut. Z nového okresního města Žlutic (Luditz) sem nyní začal jezdit pravidelně autobus. Když byl přeplněn a Němci cestou přistupovali, vykřikla průvodčí Heidenreichová:
„Češi ven!“
Obyvatelé Rabštejna byli přesvědčeni, že připojením k Německé říši si polepšili. Ještě nevěděli, že brzy nažene Hitler muže na frontu, většina jejich spolků bude rozpuštěna a bude stále hůře.