Das Schloss, ursprünglich eine gotische Burg, ragt auf einem Felsenvorsprung über dem Teich Hutní rybník in der gleichnamigen Stadt empor, die als Perlmutterstadt bekannt ist. Sie liegt am Fluss Žirovnice, etwa 11 km südöstlich von Kamenice nad Lipou.

Die gotische Burg wurde in der 2. Hälfte des 13. Jh. auf dem Dreieck-Grundriss mit einem Rundturm an der Südseite und mit einer Kapelle gebaut. In der 2. Hälfte des 14. Jh. wurde sie erweitert und befestigt. Im 16. und 17. Jh. bekam die Burg nach Renaissanceumbauten ihre Schlossgestalt. 1910 kaufte die Stadt das Schloss mit der Herrschaft und es wurde besonders als Museum genutzt. In der Hälfte der 60er Jahre des 20. Jh. brannte das Schloss nieder, es wurde aber völlig renoviert und die Expositionen wurden erneuert.
Das Schloss hatte viele Besitzer. Die Grafen von Sternberg besaßen die Herrschaft am längsten (1693 - 1910).

In Schlossräumen befindet sich auch das Stadtmuseum mit der Ausstellung über die Perlmuttererzeugung. In der Burgkapelle blieben Fresken aus dem Ende des 15. Jh. und im Saal die Gemälde aus dem 16. Jh. erhalten.