Die ursprünglich gotische Burg Kámen steht auf einem Felsenriff über dem gleichnamigen Dorf, 7 km südlich von der Stadt Pacov.

Die ersten Nachrichten über die Burg stammen aus dem Jahr 1316. Im Jahr 1450 wurde die Burg während der Herrschaft von Jiří aus Poděbrady zum Schauplatz der Friedensverhandlungen zwischen der Allianz Zelenohorská jednota von Oldřich aus Rožmberk und der königlichen Seite. Bis zum Anfang des 16. Jh. hatte die Burg viele Besitzer. Damals erwarben sie die Ritter Malovec, die sie im 3. Viertel des 17. Jh. in die Schlossgestalt umbauen ließen. 1860 -1870 wurde die Burg von dem damaligen Besitzer Enis von Atter im Stil der englischen romantischen Gotik in die heutige Gestalt hergerichtet. Die letzten Herrichtungen wurden 1916 beendet.

Die Burg ist von drei Seiten durch die Vorburg umschlossen, die durch Schanzmauern geschlossen wurde. Von den Mauern blieben nur kleine Teile an der Südseite des Turmpalastes und am ehemaligen prismatischen Eingangsturm erhalten. Als Eingang dient heute das Tor im mächtigen neugotischen Turm aus der 2. Hälfte des 19. Jh.
Der älteste Burgteil ist der Turmpalast, der aus der Zeit um 1300 stammt, zu dem  ein Vierflügelbau vom Osten anliegt, der einen kleinen Innenhof umschließt. Im Südteil steht der Prismenturm mit dem Rittersaal, zu dem die Burgkapelle anliegt.