Budynek, w którym mieści się obecnie Dom Muzyka, powstał jako pruskie koszary w latach 1868–1873. Położony jest przy samej granicy dwóch dawnych, odrębnych historycznie części Gdańska – dzielnicy wokół Długich Ogrodów, reprezentacyjnej niegdyś arterii z pałacykami i parkami, oraz właściwego Dolnego Miasta, dzielnicy robotniczej z zakładami produkcyjnymi i budynkami wojskowymi. Granicę wyznacza dziś ulica Podwale Przedmiejskie.
Obiekt nosił nazwę „Reiterkaserne”, co w dosłownym tłumaczeniu oznacza koszary jeździeckie. Jednak w istocie w koszarach nigdy nie stacjonowały jednostki kawaleryjskie. Najdłużej koszary zajmował znany 128. Gdański Pułk Piechoty, w którym służbę pełnili głównie rekruci z samego miasta i jego najbliższej okolicy.
Nazwa obiektu wzięła się od uliczki, przy której wzniesiono koszary – dawnej Reitergasse, która nie przetrwała do naszych czasów (w jej miejscu biegnie dziś ul. Podwale Przedmiejskie). Nazwa uliczki z kolei wywodziła się od stajen miejskich, które niegdyś znajdowały się w tym miejscu.
W tym samym roku, w którym ukończono koszary, wytyczono też nową drogę – Weidengasse (dzisiejszą ul. Łąkową), która połączyła Długie Ogrody z Dolnym Miastem.
Wkrótce przy koszarach oddano do użytku Gimnazjum Królewskie (1881), którego gmach, tzw. budynek czerwony, dziś znajduje się w posiadaniu Akademii Muzycznej w Gdańsku.
W koszarach nieprzerwanie do roku 1920 stacjonowało wojsko pruskie. Sytuacja zmieniała się dopiero w okresie międzywojennym. Utworzone na mocy postanowień traktatu wersalskiego, kończącego I wojnę światową, Wolne Miasto Gdańsk miało być zdemilitaryzowane.
W latach 20. i 30. ubiegłego wieku pomieszczenia w dawnych koszarach zaadaptowano na lokale mieszkalne, ale też biura kilku prywatnych firm, siedzibę jednego z posterunków policji gdańskiej oraz polską szkołę.
Nowa sytuacja wpłynęła też na dzieje pobliskich zakładów, do tej pory produkujących na potrzeby wojska. Wkrótce na ich terenie dzięki licznym udogodnieniom rozpoczęły działalność prywatne warsztaty czy fabryki. Ciekawostką jest fakt, że w 1929 r. na terenie dawnych warsztatów artyleryjskich rozpoczęła działalność amerykańska montownia samochodów, w której składano auta popularnych wówczas marek: Hudsonów i Essexów.
W czasie II wojny światowej do budynku ponownie wprowadziło się wojsko, tym razem niemieckie. W koszarach swoją siedzibę miało m.in. dowództwo jednego z batalionów garnizonu gdańskiego.
Koszary szczęśliwie przetrwały działania wojenne. Po 1945 r. w koszarach stacjonowała m.in. 13. Kaszubska Brygada Korpusu Bezpieczeństwa Wewnętrznego. Na cele wojskowe zaadaptowano także budynek pobliskiej dawnej szkoły – wspomnianego wcześniej Gimnazjum Królewskiego.
Warto wspomnieć, iż Dom Muzyka był scenografią do filmu „Krajobraz po bitwie” Andrzeja Wajdy z 1970 roku. W rolach głównych wystąpili Daniel Olbrychski i Stanisława Celińska.
W 1977 r. do gmachu dzisiejszej Akademii Muzycznej została przeniesiona Podoficerska Szkoła Muzyczna z Elbląga.
W 1984 r. w jej miejsce utworzono Wojskowe Liceum Muzyczne, które funkcjonowało do 2005 r. Była to jedyna tego typu placówka w całej Polsce, która kształciła żołnierzy-muzyków.
Niestety pod koniec XX w. kompleks koszar przy ul. Łąkowej zaczął popadać w ruinę. Wojsko szukało inwestora, który byłby w stanie przejąć zabytki i przystosować je do nowych funkcji. W tym czasie Akademia Muzyczna w Gdańsku mieściła się aż w trzech budynkach – w Gdańsku i Sopocie.
W grudniu 1995 r. wojsko oddało Akademii Muzycznej półtorahektarową nieruchomość wraz z dwoma zdewastowanymi budynkami za symboliczny 1 złoty.
Władze uczelni rozpoczęły budowę kampusu z prawdziwego zdarzenia. W pierwszej kolejności zaadaptowano do nowych funkcji dawne gimnazjum (tzw. budynek czerwony) – od roku akademickiego 1998/99 zaczęła działać tam administracja uczelni oraz Wydział Instrumentalny.
W koszarach (budynek żółty) w pierwszej kolejności otwarto dom studencki. Latem 2001 r., po przeprowadzeniu zakrojonych na szeroką skalę prac inwestycyjnych, do tego budynku przeniesiono pozostałe wydziały uczelni.
Pod koniec 2003 r. otwarto Dom Muzyka w drugiej, gruntownie odrestaurowanej części budynku żółtego, który objawił się pięknem niezwykle rzadkiej w architekturze żółtej cegły. Liczne sklepienia i wysokie sufity, duże okna z łukami oraz drewniane belki stropowe podkreślają wyjątkowy klimat tego miejsca.
