A mutatvány azonban csak félig ért véget, a pesti partra lassan ráforduló gőzösről a kikötés előtti pillanatban a gróf a Dunába ugratott, majd a lomha gőzöst megelőzve, az utolsó pár métert úsztatva csak a lovát, partra szállt.
A ló volt az élete, és az lett a veszte is
Azt szokás mondani, hogy aki lovagol, az biztosan esett már le lóról. Ez természetesen igaz volt az egészségét soha nem kímélő Sándor grófra is. Extrém életmódja miatt számos baleset érte, többször tört el a kulcscsontja, ficamodott ki a térde, és szenvedett agyrázkódást. Állapota ennek ellenére hirtelen kezdett el romlani, miután egy vágtázás közben kiesett a kocsijából, és fejét egy vasrácsba ütötte. Innentől az elmebaj lett úrrá életén, sokszor őrjöngésbe és rongálásba kezdett a kaszinóban, csak megkötözve tudták hazavinni. Többször szándékosan kőfalnak lovagolt, vagy kocsival nekihajtott. Végül nem maradt más megoldás, és elmegyógyintézetbe utalták. Bár állapota ezt követően javult, sosem vált már teljesen egészségessé. Hosszú ideig visszavonultan élt bajnai birtokán, majd öregkorára újra megőrült, és hátralévő éveit a döblingi szanatóriumban élte le. 1878-ban bekövetkezett halálával férfiágon kihalt a Sándor család grófi ága. A temetésével kapcsolatban kelt életre az a legenda, hogy a gróf koporsóját szállító lovai a templom elé érve hirtelen megvadultak, és a kocsit magukkal ragadva messze elvágtattak. Mire az emberek utolérték őket, a lovak annyira kihajszolták magukat, hogy holtan estek össze.
A főúr kalandjait már életében is sokan érdeklődve figyelték. A kor több híres festője, Johann Gottlieb Prestel és Johann Baptist Clarot is felkérték őt portréra, Vörösmarty Mihály pedig még verset is költött tiszteletére. Kálmán Imre operettet írt a grófról, és ma már film is bemutatja az életét. Sándor Móric történelmi kuriózum, személye bizonyos értelemben azonban túlmutat a kalandos életet élő bohókás arisztokratán, és egy olyan ember képét festi meg számunkra, aki jó értelemben véve dekadensen és gyermeki lelkesedéssel élte meg szenvedélyeit.
Ahogy egy kortárs lovasszakértő összegezte életútját: „Fantáziával vegyült kalandhajszolás, rettenthetetlen akaraterővel párosult elszántság, a lehetetlenség megkísérlése, sőt megvalósítása; olyasmi, amire e sportnak úgynevezett művészei álmukban sem mernek gondolni. Mindezt pedig oly született adottság, oly szív és vérmérséklet segíti a grófnál diadalra, amire csak egy lehet a magyarázat: az ember öt érzékén felül egy hatodikkal bír, amely által bűvös hatalmában tartja a lovakat.” "