Die Stadtgalerie ist in einem Altstadthaus zwischen Theaterplatz und Heuplatz untergebracht. Das Gebäude wurde in den Jahren 1780 - 1784 als Krankenhaus errichtet. Als solches diente es bis zum Jahr 1895. Dann folgt eine wechselhafte Geschichte. Hier war das Militär einquartiert, wurden Strafgefangene kaserniert, Alte und Kranke gepflegt und die erste "Kinderbewahranstalt" eingerichtet.

Zu Beginn der 90er Jahre war der große Komplex in desolatem Zustand. Die Stadt wollte in der idealen Innenstadtlage ein neues kulturelles Zentrum schaffen. Dies wurde auch verwirklicht. Im Herbst 1993 begannen die Bauarbeiten, 1996 wurden eine moderne Stadtgalerie und eine Musikschule eröffnet.

Die Restaurierung des unter Denkmalschutz stehenden Gebäudes war keine einfache Sache. Die Grundmauern mußten erhalten bleiben, die Fassade durfte nur restauriert werden. Innen aber sollten aus kleinen, dunklen Räumen großzügige Ausstellungssäle und alle für die Infrastruktur notwendigen Räumlichkeiten entstehen. Dies ist in nur kurzer Bauzeit gelungen.