Das Haus, in dem Ernst Ludwig Kirchner am 6. Mai 1880 das Licht der Welt erblickte, wurde Mitte des 19.Jahrhunderts vis à vis von dem fast zeitgleich errichteten Bahnhofsgebäude erbaut.

Folgerichtig lautete seine Adresse: „Große Bahnhofsstraße 217 D“ (heute: Ludwigstraße 19). An seiner Rückseite schloss sich ein sehr großer Garten an; zur Bahnhofsstraße hin bestand durch eine hohe Backsteinmauer Sicht- und Lärmschutz wegen der gegenüber vorbeifahrenden Züge. Weil das Haus wie durch ein Wunder beide Weltkriege nahezu unbeschadet überstand, stellt sich seine Architektur heute noch fast so dar wie in seiner Erbauungszeit. Im Obergeschoss (der ehemaligen Kirchner-Wohnung) schmückt die Fassade ein dekorativer Balkon mit Eisenkonsolen und Geländer; das Dachgeschoss wird durch einen dominanten Quergiebel geprägt. Lediglich die in der Nachkriegszeit eingefügten, großen Schaufenster im Erdgeschoss stören die Geschlossenheit der Gebäudefront. Sie wurde im Zuge der denkmalgerechten Sanierung und nach dem Auszug der Spielhalle zurückgebaut und das Haus in seinen ursprünglichen Zustand versetzt.

Ernst Ludwig Kirchner schrieb in seinen Kindheitserinnerungen über sein Geburtshaus in Aschaffenburg: „Noch heute sehe ich [… unleserlich] am Hofe meines Geburtshauses das [… unleserlich] mit dem Ziehtor und den zylindrischen Kugellöchern und den Garten mit Laub und Büschen. Ich will versuchen es zu zeichnen. Diese Schauer von Furcht und Verwunderung wenn ich an den Kinderwagen [denke] ich fühle sein Flechtwerk noch heute zurück die [… unleserlich] an diese gespenstisch große Welt schauten und die vollen Züge drüben auf dem Bahnhof, der Duft der Frauen als ich mit meinem kleinen Bruder [… unleserlich] im Bett lag. (Zeichnung mit 3 Jahren). Ich zeichnete alles, was ich sah. So liess sich die Furcht eindämmen. Wie gern hatte mein Vater die Zeichnungen damals. Das Zeichnen hat immer geholfen, geholfen das Leben zu erhalten. So wurde ich Maler.”

1937 schrieb Kirchner: „[Ich will] Erlebnisse meiner Jugend erzählen, die wie bei jedem Menschen einen großen Einfluss auf meine Art gehabt haben mögen. Eines Tages, ich war drei bis vier Jahre alt, führte mich die Amme vor das Tor unseres Hauses in Aschaffenburg, zeigte mir die Kugeleinschläge, die die Preußen 1866 oder 1869 dort zurückgelassen hatten beim Gefecht. Sie erzählte, wie tote und verwundete Soldaten im Hof gelegen hätten und die Bewohner des Hauses alle im Keller gesessen und geweint hätten.“