Původní jednoduchou renesanční stavbu nechali postavit bratři Kryštof a Melichar z Redernu již v letech 1582 - 87, a tak zámek zároveň patřil mezi první zděné budovy ve městě. Dnešní podobu však získal až díky několika přestavbám, které započaly po ničivém požáru v roce 1615. Tehdy byla na popud majitelky panství Kateřiny z Redernu k zámku přistavěna kaple a Nosticovské křídlo podle návrhu Jana Arkana ze Žitavy. 

Ve 20. století zřídila v zámku světoznámá firma Skloexport unikátní vzorkovnu skla a právě tato křehká krása dala vzniknout hrdému pojmenování: "Skleněný zámek". Nedlouho po sametové revoluci však Skloexport skončil, vzorkovna zmizela a zámek se propadl do zapomnění.