Umgeben von Burgmauern, mitten in der Altstadt hat die Herzogburg die Geschichte überdauert und präsentiert sich heute mit Gegenwartskunst. Über dem Erdgeschoss, im ehemaligen Zeughaus, befindet sich die Galerie, die ganz im Gegensatz zum Alter des Gebäudes steht.
Seit der Eröffnung der Galerie im Jahr 2005 haben Panger und Klimbacher versucht, einen Raum für moderne Kunst zu schaffen. Am Anfang war der Schwerpunkt zeitgenössische Bildhauerei.