Původně gotický hrad Kámen ční na skalnatém útesu nad stejnojmennou obcí 7 km jižně od Pacova ve výšce 570 m nad mořem.

První zprávy o hradu pocházejí z roku 1316. V roce 1450 za vlády Jiřího z Poděbrad se Kámen stal dějištěm mírových jednání mezi Zelenohorskou jednotou Oldřicha z Rožmberka a královskou stranou. Až do počátku 16. století se na hradě často měnili majitelé. Tehdy jej získali Malovcové, kteří ho ve třetí čtvrti 17. století nechali přestavět do zámecké podoby. V letech 1860 - 1870 byl Kámen tehdejším majitelem Enisem z Atteru upraven ve stylu anglické romantické gotiky do současné podoby. Poslední úpravy byly dokončeny v roce 1916.

Hrad je obklopen ze tří stran předhradím, které bývalo uzavřeno hradebními zdmi. Z nich se dochovaly pouze krátké úseky na jižní straně věžového paláce a při bývalé hranolové vstupní věži. Vstupním prostorem je dnes brána v mohutné novogotické věži z druhé poloviny 19. století.
Nejstarší částí hradu je věžový palác pocházející z doby kolem roku 1300, k němuž z východu přiléhá čtyřkřídlá stavba obklopující malý vnitřní dvůr. V jižní části stojí hranolovitá věž s Rytířským sálem. K němu je připojena hradní kaple.