Přírodní památka Jilmová skála se rozprostírá nedaleko Zátoně (část Lenory) na jižním svahu Boubína. Vlastní Jilmová skála je skalní útvar nedaleko železniční zastávky Zátoň. Podle ní bylo pojmenováno celé chráněné území, jež tvoří nárazníkovou oblast pro rezervaci Boubínského pralesa. Jedná se o rozsáhlý lesní komplex s převahou jedlosmrkových bučin, který patří k nejzachovalejším částem bývalého zátoňského polesí.

K lokalitě je přístup od železniční zastávky Zátoň. Odtud vede lesní neznačená cesta západním směrem na Kubovu Huť. Cesta vede okolo vlastní Jilmové skály, z níž jsou pěkné vyhlídky do nitra přirozených lesů.