Görgeit 1849 augusztusában Klagenfurtba internálták, itt élt – rendőri felügyelet alatt – 1867-ig. Állást nem vállalhatott, s miután a tartalékai elfogytak, az osztrák kormánytól kapott „tartásdíjat”. 1852-ben németül, olaszul és angolul megjelentek az emlékiratai – a két kötetet azonnal betiltották az Osztrák Császárságban, mert kemény szavakkal szólt az osztrák politikáról. A kiegyezés időszakában két memorandumot is írt Deák számára katonai kérdésekről, amelyeket a haza bölcse örömmel fogadott. 1867-es hazatérése után közéleti szerephez nem jutott, 1875-ig Erdélyben dolgozott munkafelügyelőként és gazdatisztként. Ezt követően az öccse visegrádi birtokát igazgatta, de 1881-ig több nagyobb tanulmányt is írt a Budapesti Szemlébe. 1884-ben 207 honvédtiszt nyilatkozatban jelentette ki, hogy nem tartják árulónak. A személye körüli viták az 1890-es években némileg csillapodtak, de haláláig nem maradtak abba. Szellemi és fizikai frissességét az 1910-es évek elejéig megőrizte, ezt követően azonban egyre inkább romlott a fizikuma, s vele együtt a szellemi állapota is. Ferenc Józseffel a maga módján megbékélt, de az a legenda, hogy minden évben szőlőt küldött volna neki a visegrádi birtok terméséből, alaptalan. Valójában öccse, Görgey István felesége és annak lányai küldték a szőlőt a Visegrád környékén vadászgató uralkodónak, aki ezt a kabinetiroda útján mindig meg is köszönte.
Hogy gondolkodtak Görgeiről a kortársak, a közvélemény?
1849 ősze után meglehetősen általános volt vele kapcsolatban az a vélekedés, hogy „elárulta a szabadságharcot”. Vörösmarty, Bajza, Sárosi Gyula, Tóth Kálmán, Vajda János átkozta el őt, de még a visszafogottabb Jókai is őt hibáztatta az aradi kivégzésekért. Az emigrációban Kossuth 1849. szeptember 12-i vidini diplomáciai körlevelében nevezte őt árulónak, s tolta rá a szabadságharc vereségének szinte egész felelősségét. Ez a vélekedés meglehetősen általános volt az emigránsok között; legfeljebb abban volt némi nézetkülönbség, hogy Görgei már kezdettől áruló volt, vagy csak fokozatosan vált azzá, illetve hogy szenvedélyből vagy pénzért árulta-e el az ügyet. Ugyanakkor voltak olyanok is, akik nem hitték el a vádakat. Ezek többnyire Görgei volt tisztjei (Duka Tivadar, Üchtritz Emil) voltak, de például Szász Károly már 1850-ben versben védte őt a vádak ellen. A védők és tisztelők száma 1867 után egyre nőtt: Gyulai Pál, Kozma Andor, Arany László, Lévay József tartoztak közéjük, de kiállt Görgei mellett például Ivánka Imre vagy Asserman Ferenc honvédezredes is. Voltak olyanok is, akik Görgei lelkes ellenségeiből lelkes híveivé váltak, mint például idősebb Krúdy Gyula. A századelőn pedig olyan személyiségek látogatták meg, mint Mikszáth Kálmán, Móricz Zsigmond, Pethő Sándor, Jászi Oszkár, Eötvös Károly, Tisza István vagy Károlyi Mihály. A közvélemény egy része, főleg a Függetlenségi Párt hívei, árulónak tartották haláláig – ugyanakkor egyre inkább terjedt az a meggyőződés, hogy Görgei jó katona volt, s a fegyverletételt nem lehetett elkerülni. A problémát az jelentette, hogy 1920-ig nem lehetett hozzájutni a szabadságharc levéltári forrásanyagához, azaz, mind a támadók, mind a védők jobbára spekulációkra voltak utalva. 1916. május 21-i halálát követően azonban a sajtóban inkább a megbecsülés, mint a megvetés hangján írtak róla.
***