K vrchu se váže legenda, podle které se sedmi bratrům zjevil Spasitel na kříži a vybízel je k návratu z nuceného exodu v době protireformace. Nejmladší z bratrů, který byl nemocný na nohy se vrátil, nechal na úpatí hory postavit dřevěný kříž a po svých modlitbách se zázračně uzdravil. Od té doby začalo na Křížovou horu přicházet mnoho trpících.

Místní farář Gottfried Liessner nechal ne vrchu postavit kapli s křížovou cestou, kterou tvoří jedenáct rokokových zastavení. Dále zde můžeme vidět výjev z Getsemanské zahrady - sochy tří spících apoštolů Petra, Jakuba, Jana a modlícího se Ježíše. Součástí areálu je také Socha Ecce homo znázorňující sedícího Ježíše s trnovou korunou a socha Panny Marie.

Areál Křížové hory byl v roce 1969 prohlášen za kulturní památku. Od roku 1991 začala cílevědomá snaha o celkovou obnovu tohoto místa, jež patří mezi nejvýznamnější dominanty obce Jiřetína pod Jedlovou.