Mindez meghatározta Gizella későbbi életét, Erzsébet királyné elsőszülött kislánya elvesztése miatt ugyanis mély depresszióba zuhant, és Gizella nevelését végérvényesen Ferenc József anyja, Zsófia Friderika hercegnő vette át. Erzsébet királynéval később sem volt szoros a kapcsolata Gizellának, a két évvel fiatalabb öccsével, Rudolffal annál inkább. 1864-ben például Rudolf napon egy hímzett zászlóval lepte meg az öccsét, amelyre annyit írtak: Utánam bátor harcosok! Bécsben ma is emlékeznek egy esetre, amikor a kis Gizella és Rudolf a bécsi Népkertben labdázott, ám a labda elgurult, s egy idegen vette fel. Mikor a kis Rudolf odarohant, a férfi megkérdezte a gyerektől: „Hát téged meg hogy hívnak, kisfiam?” Rudolf válasza:
„A papa Rudinak hív, a mama Bubinak, a többi ember pedig engem is és Gizit is császári fenségnek nevez.”
1865-ben Ferenc József a családját is elhozta Budára a Szent István ünnepségre. Az emberek árgus szemekkel figyelték Gizella főhercegnőt, hiszen hónapokkal korábban arról cikkeztek az újságok, hogy tüdőgyulladás és mellhártyagyulladás gyötörte a gyermeket. Kilencéves volt ekkor, ennek ellenére több lapban is megjelent, hogy III. Napóleon francia császár azt tervezi, a kis Gizellával jegyezteti el saját kilencéves fiát. 1866-ban nem a budai Várban, hanem a budai hegyekben szállt meg Erzsébet királyné, s a Kochmeister-féle villában Rudolf és Gizella is ott volt. Azt is megírták a lapok, hogy az udvar küldöttje Brunner Váci utcai játékboltjában Rudolfnak ötven lovasból álló játék bandériumot vásárolt, Gizella pedig egy „magyar pórleányt s egy magyar parasztlegényt ábrázoló bábut kapott.”
1868-ban Gizella, ha már a fővárosban járt, meglátogatta az angolkisasszonyok pesti kolostorát, megtekintette a növendékek hagyományos táncvigadalmát, sőt az Állatkertben is körülnézett. Ebben az évben Gizella és Rudolf Károlyi István grófnál is vendégeskedett Fóton, majd Gödöllőre mentek pihenni. A gödöllői kastélyban ez időtájt Gizellának az egyik kedvenc időtöltése az volt, hogy egy szamár hátán sétált a kastély parkjában. Ekkor már a harmadik testvér is velük volt Gödöllőn, az áprilisban született Mária Valéria. 1869-ben aztán Gizella főhercegnő élete is veszélybe került.
A mindössze 13 éves lányt ugyanis a bécsi Práterben egy magányos merénylő próbálta megölni.