Když roku 1830 hrabě Jan Lažanský z Bukové zemřel, jeho dva synové si zděděné území rozdělili, údajně snad losem. Starší Jan Karel získal romantický Rabštejn, mladšímu Prokopu Aloisovi zůstal pohodlnější Manětín.
Roku 1846 se oba bratři oženili. Prokop Alois pojal za ženu hraběnku Sidonii Hoyosovou a v květnu s ní zavítal i do Rabštejna. Novomanžele tehdy vítaly slavobrány, nastoupené cechy se svými praporci i děvčátko Adolfina s básničkou a kyticí. Hrabě pak na náměstí pohostil dobrý lid pivem a chlebem ve třech chýších z chvojí.
Skutečný majitel panství Jan Karel se ženil až v listopadu a s poněkud menší parádou. Vzal si hraběnku Marii Lažanskou, vlastní sestřenici z rakouské větve. Devět měsíců po svatbě se jim narodil syn, ten však záhy zemřel. Další děti už hraběcí pár neměl. Místo nich se v zámku pohybovaly dospělé ženy – hraběnka měla deset sester, z nichž se provdaly jen dvě, a všechny se dožily vysokého věku. Jezdily sem na návštěvu a některé tu začaly bydlet. Jejich švagr se s tím musel nějak vyrovnat.
Svůj národ měl rád a kolem roku 1848 pronášel bouřlivé vlastenecké projevy. Národní zápal přenesl i na svou choť, a tak se i ona stala dobrou Češkou. Hrabě však vycházel dobře i s obyvateli městečka, v němž naprosto převažovali Němci. Ačkoliv už nebyl všemocným feudálem jako před revolucí, byl zde mezi lidmi vážený a oblíbený. Zamiloval si to tady. Zvykl si na ten pohled ze svého zámku do okolních lesů, nad nimiž kroužili dravci, na věčný šum Střely hluboko dole i na občasné zvuky z úzkého města, šplhajícího se strmě od kamenného mostu až nahoru, kde kromě zámku stál ještě kostel, klášter a zbytky dvou hradů.
S obyvateli sdílel i trampoty s nedostatkem vody, vyplývajícího ze slabého pramenu u kašny. Za sucha tehdy vlekli vodu ze Střely do kopce všichni – jak měšťané s povozy, trakaři a džbery, tak i oslové, které si hrabě držel kvůli zalévání zámecké zahrady.
V roce 1856 postihlo Rabštejn krupobití, které roztřískalo všechna okna mířící na sever, ve městě i v zámku. Kroupy poškodily i křížek na věži kostela. Ten byl pak znovu slavnostně upevněn za doprovodu hudby a přítomnosti hraběcí rodiny i dalších početných diváků. Po zdárně vykonané práci dostali řemeslníci na věži láhev vína, kterou vypili na zdraví hraběte i města. Za zaznamenání stálo i to, že sklenka vržená z věže na zámecký dvůr se nerozbila.
Roku 1878 k zármutku všech hrabě Jan Karel zemřel. Hrabata Lažanští v Čechách měli rodovou hrobku v Chýších, ale nebožtík se vyjádřil jasně:
„Chci ležet v Rabštejně!“
Vdova ho tedy uložila v cínové rakvi do hrobky zrušeného kláštera servitů mezi řeholníky, kteří tam leželi v dřevěných rakvích.
Hraběnka Marie pak žila na zámku dalších 30 let. Často sedávala v první lavici přilehlého kostela, se sestrami nebo sama. Nadále stranila Čechům, v panském pivovaru u mostu zaměstnávala výhradně české sládky. Do hrobky umístila ještě své sestry, ale sama se k věčnému spánku uložila jinde, protože zemřela během návštěvy rodného St. Pöltenu. Narození, svatbu i smrt si tak odbyla v jednom místě.
Dědicové z Manětína už do Rabštejna moc nejezdili. Poslední členka této rodiny hraběnka Terezie se provdala za hraběte Seilern-Aspang a také ona se přizpůsobila manželově národnosti. Proto byla po druhé světové válce odsunuta, stejně jako drtivá většina obyvatel Rabštejna.
Jezdím do Rabštejna odmalička, strávil jsem zde všechny prázdniny. V 50. letech to tu vypadalo jako na vesnici. Pro vodu jsme chodili na náměstí ke stojánku a večer jsme si svítili petrolejkami, protože proud do obce zaveden nebyl. Nemohl jsem si venku sednout, kde mě napadlo, bylo nutno dávat pozor na četné výtrusy: zelené husince, tmavé bobky, žluté slepičince. Kozy se potulovaly volně mezi domy a ožíraly pelargonie v oknech, jedna nám vlezla do chodby a sežrala kýbl malin. Husy v čele s husákem se kvečeru spořádaně vracely od řeky po silnici samy domů. Nebezpečí přejetí jim nehrozilo, protože jedoucí auto zde bylo výjimečným jevem. K jedinému krámu se sjížděly na kolech hospodyně v šátcích, někdy i traktor zastavil. Předsedové MNV nosili na hlavě hnědou rádiovku.
Za vlády bezbožných komunistů církevní stavby chátraly a nejinak tomu bylo i s rabštejnskou hrobkou. Byl do ní přístup dírou ve zdi. Četli jsme tehdy knihy Setona a Foglara a napodobovali předválečné skauty. K získání bobříka odvahy tak byla hrobka s devastovanými rakvemi a kostmi ideálním místem. Neměli jsme z toho tenkrát rozum.
Horší však bylo, že do hrobky vnikli i vedoucí pionýrského tábora u řeky, zmocnili se jedné lebky, se kterou pak svěřené děti strašili. Jedna malá pionýrka utrpěla nervový šok a vedoucí měli nepříjemnosti.
„Děti se nemají bát,“ uváděli na svou obhajobu.
Lebka byla vrácena na své místo a díra do hrobky jednou pro vždy zazděna.