Na juhu od Banskej Štiavnice, ktorej územie spolu s jej okolím je zapísané na Listine svetového kultúrneho a prírodného dedičstva UNESCO, sa nachádza obec Svätý Anton. Táto oblasť sa vyznačuje množstvom kultúrnych a historických pamiatok. Jednou z nich je aj barokovo -klasicistický kaštieľ vo Sv. Antone.
Kaštielu predchádzal menší opevnený hrádok, ktorý je spomínaný už v 15. storočí. V II. polovici 16.storočia bol hrádok prestavaný pod vedením talianskeho staviteľa Gulia Ferrariho, a mal chrániť pred tureckými nájazdami Banskú Štiavnicu z juhu. V I. polovici 18. storočia sa stavebnými prácami z hradu stal štvorkrídly kaštieľ, a traduje sa, že budova v sebe skrývala prvky kalendárnej symboliky - kaštieľ mal 4 vchody, 7 arkád, 12 komínov, 52 izieb a 365 okien. Dnes túto symboliku už nemožno pozorovať, lebo bola narušená v 19. storočí ďalšími stavebnými úpravami.