Het is gelegen in een grote vallei, omgeven door heuvels van Podkrkonošská pahorkatina (heuvelland). De eerste schriftelijke vermelding van Semily dateert uit 1352, maar omdat die alleen betrekking heeft op de kerk, kunnen we aannemen dat de stad Semily toen al lang heeft bestaan.

De stad Semily was al eeuwenlang de zetel van de adel. Het landgoed behoorde lange tijd aan het adellijke geslacht Smiřický, later aan Albrecht von Wallenstein en daarna raakte het in bezit van buitenlandse adellijke families. De resten van het landgoed in Semily werden in 1890 gekocht door de stad Semily. 

In de afgelopen eeuwen onwikkelde in Semily zich de landbouw, handel, ambachten en kleinschalige productie en vervolgens met behulp van de waterkracht van de rivier ook industrie.