A vendéglő története régre nyúlik vissza. A névadó család feje, Brunovszky József Csehországban született 1830-ban. A vendéglő megalapítása az ő nevéhez fűződik. A család kezdetben a terézvárosi Aradi utca környékén lakott, innen költöztek át az Erzsébetvárosba, ahol kezdetben a Szövetség utca, majd az István út lett a lakóhelyük.
Vendéglőjüket mégsem itt, hanem a mai Rákospalotán- akkor még Palota-újfalu- nyitották meg, remélve, hogy a váci vasút mentén, a Pázmány Péter utca 111. alatt megnyíló éttermüknek, mely addig is nagyon jól prosperált, a vasút további forgalmat fog generálni. Az itt található éttermük cégére így szólt: A „Piros Almához”. A vasúttársaság ennek ellenére egy másik helyszín mellett tört lándzsát, történetesen a pesti polgárság által ekkor már előszeretettel látogatott, nyaralókkal és villákkal tarkított Palotai erdőre ill. annak közvetlen közelségébe építette meg a vasútállomást 1881-ben. A vendéglő látogatottságának szempontjából ez nem jelentett komolyabb változást, ennek ellenére az ifjabb Brunovszky József a költözés mellett döntött. Ekkor került az egykori vendéglő a ma ismert helyére, Károlyi István hajdan volt nemesi birtokára, szemben a mai Rákospalota- Újpest vasútállomás újpesti oldalára. (Akkoriban viszont ez a terület még Palotához tartozott, a Vécsey utca végében található néhány villa lakója 1929-ben döntött az Újpesthez való tartozás mellett, utolsóként.) Az épület tulajdonosa 1889-től Bossányi László- Károlyi István egykori titkára és a szabadságharc leverése után sokáig rabtársa, valamint Újpest országgyűlési képviselője- volt, majd a tulajdonjog 1912-ben fiára, Bossányi Györgyre szállt. A család tőle vette meg az épületet, és alakította ki később híressé vált vendéglőjét, melyben úttörő szerepe volt Brunovszky Józsefnek.
1916-ban, mikor a családfő elhunyt, az étteremnek már a jó értelemben vett híre volt, ahol lakodalom követett lakodalmat, itt szolgálták ki a megyeri lóversenyekről érkező vendégeket, vasárnaponként még katonazene is szólt. Felesége folytatta a vendéglátást, majd hozzáment Gaál Jenő egri vendéglátóshoz. Innentől kezdve az étterem a publikum számára Gaál-vendéglő néven is ismert volt.
Az ifjabb József szintén József nevű fia, aki korábban már francia földön tanulta a szakma fortélyait, 1938-tól vette át az étterem irányítását az ekkor már betegeskedő Gaál Jenőtől, aki így már nem folyt bele a mindennapi üzletmenetbe. (Nagyobbik fia, Gaál István a Ritz felszolgálójából hajópincérnek állt, majd kiköltözött az Egyesült Államokba.)Ezek az évek még a háború árnyékában is a fellendülés évei voltak, az étterem szinte szárnyalt. Ennek vetett véget az 1944-es év, amikor a front elérte Magyarországot is. Az étterem kezdetben népkonyha volt, valamint József számos rászorulónak biztosított menedéket és ételt, italt. Nemsokára a magyarországi orosz hadiparancsnokság fészkelte be magát. 1945 eleje mégis a visszatérést jelentette, az élet szép lassan helyreállt a vendéglőben.
1947-ben, annak ellenére, hogy maga Rákosi Mátyás is kedvelte a vendéglőt, nem kerülhette el az államosítást. Az étterem tulajdonosai és üzemeltetői „vendégek” lettek saját házukban, havi száz forint/m2 áron. József ekkor felhagyott a vendéglátással, először szőlőt művelt Soltvadkerten, majd a fényező szakma ismeretével a kezében a Járműjavítóban vállalt állást. Ez idő alatt sikerült telket vásárolniuk a Szülőotthon mögötti területen, mely terület végül szintén kisajátítás áldozata lett, de ekkor 100 ezer forint kárpótlást kapott a család a telekért. Brunovszky József a kárpótlást már nem élte meg 1978-ban bekövetkezett halála miatt. A család még életben lévő tagjai 1995-ben kaptak kárpótlást az 1947-48 folyamán bekövetkezett államosítási folyamatokból eredő veszteségért az államtól. Bár 1992-ben megszűnt a kizárólagos állami monopólium, és magáncégek is megpróbálták feléleszteni az egykor nagyhírű éttermet, ez eddig nem történt meg. Jelen pillanatban semmi tudomásunk nincs arról kik a tulajdonosok, és egy felújítás elkezdődött, de abban maradt, így jelen pillanatban az épület üresen áll.
