Územie s NKP Pustý hrad leží v geomorfologickej sústave Alpsko-Himalájskej v podsústave Karpaty v provincii Západné Karpaty v subprovincii Vnútorné Západné. V geomorfologickej oblasti Stredné Pohronie v pododdiely Zvolenská kotlina. Táto je z východu je ohraničená Poľanou, zo západu Kremnickými vrchmi, z juhozápadu Štiavnickými vrchmi a z juhovýchodu Javorím.

Samotná lokalita sa nachádza v juhozápadnej časti mesta Zvolen. Vrch, na ktorom sa nachádzajú zrúcaniny Pustého hradu, patrí do horského celku Javorie. Pre masív Pustého hradu je charakteristický oblúkový hrebeň. Sledujeme ho od Zvolena smerom na juh (Veľký vrch, 587 m), kde jeho východné svahy strmo, až bralnato spadajú do údolia Neresnice. Chr-bát sa stáča na západ, klesá do sedla Vráta pod kopcom Varta. Tadiaľto prechádzala prístupo-vá cesta na Zvolenský hrad. Hrebeň pokračuje severozápadným smerom cez najvyšší vrch tejto oblasti Vápennú (680 m) až k majeru Gunda, kde spadá bralnou stenou do Hrona. Horný hrad vybudovali na bočnom hrebeni (571 m), ktorý sa tiahne od Veľkého vrchu ku Hronu, ktorý od neho odrezal skupinu Stráže (Gavurka, 458 m; Sliacky 2008, 4).