Pelhřimovský zámek stojí na západní straně náměstí. Renesanční stavba pochází z let 1550 - 1551. Při jeho stavbě byla použita část městských hradeb s obrannou věží. Po požáru v roce 1561 byl obnoven v období 1565 - 1572. Od roku 1582 byl sídlem městské rady.
Dnešní podoba zámku je výsledkem pozdně barokní přestavby z let 1766 - 1770. Dvoukřídlá budova má mansardovou střechu a hranolovou věžičku s cibulovou bání. V prostorách zámku je umístěno městské muzeum. Jsou zde sbírky připomínající historii města a jeho okolí, národopisné sbírky a rozsáhlá kolekce míšeňského porcelánu.