Über 400 Jahre residierte in Ellingen der Landkomtur der Ballei Franken des Deutschen Ordens. Ballei hieß bei den Ritterorden der einer Ordensprovinz untergeordnete Verwaltungsbezirk. Franken war die größte und reichste unter den insgesamt 13 Ordensprovinzen im Heiligen Römischen Reich. Unter Landkomtur Karl Heinrich von Hornstein kam es 1718 in Ellingen so zum großzügigen Neubau einer eigenwilligen Dreiflügelanlage. Sie wurde im Rokoko und frühen Klassizismus modernisiert.

Auf einer Wappenkalenderansicht von 1726 ist erstmals die Idealansicht eines barocken Gartens in Ellingen dargestellt. Im 19. Jahrhundert wurde der Garten der Residenz Ellingen landschaftlich umgestaltet. Dabei erfolgte die umfassende klassizistische Erneuerung eines den barocken Schlossgarten im Norden begrenzenden Gartenpavillons. Unter den alten, mächtigen Bäumen im Schlosspark erblühen zu Ostern unzählige Blausternchen (lat.: Scilla).