Najstarším objektom v zámku je bývalý farský Kostol Panny Márie. Spolu so susedným karnerom sv. Michala ho postavili v 13. storočí ako trojloďovú románsku baziliku. V 14. storočí okolo kostola vybudovali obranný múr, čím sa začali vytvárať základy budúceho mestského hradu. Obranný systém neskôr rozšírili o baštu a vstupnú bránu s vežou.
Baziliku na začiatku 16. storočia prebudovali na gotický chrám. Turecké nebezpečenstvo vyvolalo potrebu ďalšej prestavby, ktorá opevnený kostol premenila na strážnu pevnosť. Klenbu kostola zborili, čím vznikla dnešná štvorkrídlová palácová stavba s vnútorným nádvorím na mieste ústrednej chrámovej lode. Baroková úprava v 18. storočí sa dotkla najmä pôvodnej vstupnej veže.
Dnes Starý zámok slúži Slovenskému banskému múzeu. Počas letnej sezóny sa v zámku konajú divadelné predstavenia a kultúrne programy.