Ústrednou stavbou Dolného hradu bola mohutná obytná veža s rozmermi 19,9 x 19,9 metrov a hrúbkou muriva 3,3 metra. Vybudovaná bola na nižšom výbežku hradného vrchu takmer 100 metrov pod úrovňou Horného hradu. Vďaka archeologickým nálezom a datovaniu pomocou rádiouhlíkovej metódy môžeme výstavbu veže Dolného hradu datovať do prvých desaťročí 13. stor. Dolný hrad vznikol ako sídlo panovníka pri jeho pobytoch v poľovníckych revíroch okolo Zvolena. Potreby kráľovského dvora odrážajú celkové rozmery obytnej veže, ktorej jednotlivé podlažia dosahovali rozlohu 180 m2 až 225 m2. Pri predpokladanej výške päť podlaží veža disponovala interiérovou plochou minimálne 1000 m2. Spodné podlažie prístupné z nádvoria zrejme slúžilo ako skladisko, nad ním boli zrejme 3 úrovne obytných priestorov a obranné podlažie. Vstup do prvého podlažia bol ešte koncom 20. stor. viditeľný vo východnej stene veže. Torzo juhovýchodného nárožia veže aj dnes dosahuje výšku takmer 17 metrov.
Svojimi mimoriadnymi rozmermi predstavuje obytná veža na Dolnom hrade odozvu veľkých obytných veží francúzskych hradov. Na území historického Uhorska môžeme zvolenskú vežu porovnať len s obytnými vežami ďalších kráľovských hradov. Najlepšie sa zachovali hranolová veža na hrade Srednyj (Šeredné, dnes Ukrajina, 18,5 x 18,5 metrov), šesťboká veža dolného hradu vo Visegrade (30 x 17 metrov) a tzv. Biela veža hradu v Ostrihome (16 x 13 metrov). Podobné rozmery dosahovali aj zaniknuté obytné veže hradov Bratislava (23 x 23 metrov) a Spiš (valcová veža s priemerom 23 metrov).