Itt kezdetben Tormássy János tanította a fiút, később pedig fia, Tormássy Artúr ismertette meg a magyar nyelvvel Károly főherceget. Károly már kiskorától mélyen vallásos és jólelkű volt. Feljegyezték például, hogy gyerekként egy alkalommal megkereste a kastélyuk főkertészét, hogy munkát vállaljon. Mint kiderült, azért tette, mert a pénzből szegénysorsú gyerekeket akart támogatni. Azt is tudni lehet, hogy Károly idővel magyarul is olvasott, és
különösen Petőfi Sándor műveit kedvelte, így kívülről tudta a Nemzeti Dalt is,
ami azért igazán sajátságos, mert a művet a Habsburgok elleni forradalom szülte 1848-ban. Mellette rendszeresen forgatta az ifjúságnak szóló, Zászlónk című magyar nyelvű folyóiratot is.
Magyarországon 1901-ben tartott nagyobb körutazást, trónörökösként a budai Várban is megfordult többször. A legtöbb időt egyhuzamban a koronázása előtt töltött a Budavári Palotában, bár akkor is csupán öt napot. Ferenc József novemberi halála után ugyanis ő lett az uralkodó, 1916. december 30-án a Mátyás-templomban került a fejére a Szent Korona.