Szkalnitzky Antal felívelő pályája azonban tragikusan megtört.
Súlyos betegsége megakadályozta a további alkotásban. „Nem most halt meg, hanem évekkel ezelőtt” – írta nekrológjában az Építészet című lap, hiszen halála hosszú évek szenvedéseire tett pontot. Szkalnitzky súlyos agysorvadásban szenvedett. Minden az állandó fejfájással kezdődött a halála előtt öt esztendővel, ekkor még azt gondolta, ha lazít és fürdőkben kúrálja magát, helyre jön. Nem így történt. 1874 telén Olaszországban pihent, de ez az út sem hozott javulást. Szellemi leépülése egyre csak fokozódott, s végül a legszörnyűbb lépést kellett megtennie a családjának: Lipótmezőn, a tébolydában helyezték el az építészt, aki ekkor már alig érintkezett a külvilággal. Ott is halt meg 1878. június 9-én, csupán 42 évesen.
Szkalnitzky a kortársak szerint is zseniális építész volt, ám a sors kevés időt adott neki, de rövid pályafutása során is negyvennél több csodás épület fűződik a nevéhez. Az utókor nem volt hálás vele, hiszen utcát sem neveztek el róla, ráadásul a sírja sincs már meg, mert a budai Kongresszusi Központ helyén elterülő Németvölgyi temetőt felszámolták – Szkalnitzky Antal sírjával együtt.