Zámek, původně ovšem gotický hrad, se tyčí na skalnatém ostrohu nad Hutním rybníkem ve stejnojmenném městečku, známém jako město perleti, které leží při říčce Žirovnici asi 11 km jihovýchodně od Kamenice nad Lipou.

Gotický hrádek byl založen ve druhé polovině 13. století na půdorysu trojúhelníka s okrouhlou věží na jižní straně a s kaplí. Ve druhé polovině 14. století byl rozšířen a opevněn. V 16. a 17. století dostal hrad po renesančních přestavbách již zámecký ráz. V roce 1910 zámek i s panstvím odkoupilo město a byl využíván zejména jako muzeum. V polovině šedesátých let 20. století zámek vyhořel, byl však kompletně restaurován a expozice byly obnoveny.
Vystřídala se zde řada majitelů, nejdéle patřilo panství Šternberkům (1693 - 1910).

V prostorách zámku je umístěno také městské muzeum s expozicí věnovanou perleťářství. V hradní kapli se dochovaly fresky z konce 15. století a v sále malby ze století šestnáctého.