Od nich panství zdědili Harantové z Polžic a Bezdružic a v roce 1701 zámek koupil pokrokový rod Harrachů, kteří ho v letech 1714 a 1895 rozšířili do dnešní podoby. Během 2. světové války byl jejich majetek zkonfiskován a po válce připadla budova i pozemky československému státu.

V zámku dnes sídlí Krkonošské muzeum, které vzniklo díky řediteli dívčí školy Jáchymu Metelkovi a učiteli Janu Bucharovi ze sbírek pro Národopisnou výstavu československou v roce 1891. 

Zámecká interiérová expozice nabízí vedle životopisných materiálů Jana Nepomuka hraběte Harracha, který se zasloužil nebývalou měrou o rozvoj české kultury, hospodářství, politiky a rozmach Krkonoš, také možnost prohlédnout si Janovu pracovnu, ložnici, jídelnu, salon a dámský salonek, předpokoj a chodbu. 

V zámeckém parku se nachází řada vzrostlých stromů. Mezi nimi i mohutná 250 let stará lípa, která je nejstarším stromem ve městě. Proti vstupní bráně parku stojí pomník světoznámého geologa Františka Pošepného. Hlavní vchod do zámeckého parku je z Kostelní ulice.

Expozice: 

Historicko-etnografická expozice – unikátní betlém Jáchyma Metelky z let 1883–1913. Původní mechanismus pohybuje 142 figurkami, které předvádějí 350 druhů pohybů, vše za doprovodu zvukových efektů. Historie českého lyžování – vývoj až do roku 1938. Život Jana Nepomuka hraběte Harracha.  Kavánova galerie vystavuje díla významného českého krajináře Františka Kavána. Muzeum nabízí také řadu krátkodobých výstav, doprovodných akcí a přednášek. 

V přilehlé budově bývalého pivovaru najdete Tržnici řemesel, kde se můžete podívat na výrobu rukodělných a řemeslných výrobků tradičního lidového nebo historického charakteru, jako např. drátenictví, košíkářství, výroba šperků, ozdob, umělecká práce s dřevem apod. Výrobky si tu můžete zakoupit a udělat tak radost sobě nebo někomu blízkému.