A Generálisnak vagy Likőrkirálynak is nevezett Zwack József az első világháború alatt, 1915. február 20-án aludt el örökre. A Károly körút 3. szám alatti lakásából ment a gyászmenet a mai Salgótarjáni úti zsidó temetőbe, ahol imádott felesége mellé temették. Érdemes idézni a halála másnapján megjelent közleményt, amelyet a gyermekei fogalmaztak meg: „Mély fájdalommal jelentjük, hogy családunk feje, forrón szeretett atyánk, a legjobb nagypapa és dédapa, a leggyöngédebb rokon, Zwack József úr nagyiparos, e hó 20-án, életének 94-ik évében, rövid haláltusa után jobblétre szenderült.”
Zwack József halála utána a fia, Lajos vitte tovább a gyár vezetését.
1926-ban aztán Zwack Lajos két fia, János és Béla is a világhírű likőrgyárnál találta meg a számításait. Bár a család 1917-ben áttért a római katolikus vallásra, a harmadik zsidótörvény értelmében üldözöttekké váltak. A vészkorszak alatt Zwack János testvére, Mici gellérthegyi villájában húzták meg magukat és sikerült épségben túlélniük a borzalmakat. A második világháború pusztítása a Zwack-gyárat sem kímélte, a bombák az üzemet is porig rombolták. A háború után a gyárat államosították. Ekkor a család az ország elhagyása mellett döntött.
A Zwack család az emigráció előtt a budai Várban, az Úri utca 45. szám alatt élt egy pompás neobarokk lakóházban. Zwack Péter később úgy emlékezett vissza, hogy szeretett ott élni, de aztán közbeszólt a történelem. Zwack Péter 1987-ben tért haza Magyarországra, majd ismét útjára indította a dédapja, Zwack József által alapított, nagy múltú céget. A Budai Várséták legújabb, Shalom, Buda! elnevezésű tematikus vezetésén a Zwack-család budavári életével is megismerkedhetnek az érdeklődök. Az új tematikus séta – amely a budai Vár zsidó örökségét, nevezetességeit, emlékeit mutatja be – az Úri utca 45. számú házat is érinti.