Historia zamku w Zahrádkách sięga 1556 roku, kiedy Kryštof Plot z Koňařin był uwieczniony jako hetman na Novym Vítkovcu, jak wcześniej zamek nazywano. Wybudował go Jan z Vartenbergu, który sporym kosztem zlecił wykończenie wnętrz. Później zamek zmieniał właścicieli spośród członków rodu Vartenbergów. Jan Jiří z Vartenberka był ostatnim z rodu, który zarządzał zamkiem. Ponieważ brał czynny udział w powstaniu antyhabsburskim w latach 1619-1620, został ukarany konfiskatą całego majątku.

Zamek nabył w 1623 roku Albrecht z Valdštejna. W tym czasie na zamku znajdowało się bardzo cenne wyposażenie, znakomita biblioteka i galeria oraz park zamkowy z mnóstwem rzadkich gatunków drzew. Po zamordowaniu Valdštejna w 1634 roku, zamek przeszedł w posiadanie jego żony Izabeli, a później jego jedynej córki Marii Elżbiety, która wyszła za mąż za najwyższego łowczego Rudolfa Kounica. W posiadaniu Kouniców pozostał majątek nowozamecki aż do wymarcia rodu w 1897 roku. Następnym właścicielem zamku stał się Jan Lichtenštejn a po nim Emanuel Lichtenštejn.

Po 1945 roku zamek przeszedł na własność państwa. W XIX wieku częścią parku zamkowego stał się również skalny kanion Robečskiego potoku zwany Peklo (Piekło), obecnie narodowy zabytek przyrody gdzie obficie występuje śnieżyca wiosenna oraz aleja lipowa Valdštejna (wiek 300 lat) prowadząca do jednej z najstarszych bażantarni w Czechach, dziś z hodowlą kozy bezoarowej i muflonów.

Niestety podczas trzydniowego pożaru na przełomie stycznia i lutego 2003 roku zamek w znacznym stopniu spłonął.