A fizikai és mérnöki tudományoktól mindinkább eltávolodó Szily igazi hivatását a tudományszervezés mellett a nyelvészetben találta meg. Felismerte ugyanis, hogy az 1868-ban elfogadott közoktatási törvény sikeréhez a természettudományok területén hiányoznak a nyelvi alapok. Mert szépen hangzottak ugyan Eötvös Józsefnek az Országgyűlésben elmondott szavai a törvénnyel kapcsolatban – „részemről meg vagyok győződve, hogy azon percben, melyben Magyarország művelt osztályai át lesznek hatva azon kötelességtől, hogy azokat, akik műveltségben még nem részesültek, magokhoz emeljék, azon percben a népnevelés ügye haladni fog óriási lépésekkel” –, a magyar nyelv még nem állt készen arra, hogy a korszerű tudományos ismereteket sokaknak közvetíteni tudja.
A Szily Kálmán elődjének tekinthető Bugát Pál orvos és nyelvújító, valamint tudósköre munkássága sokat tett ugyan a tudományos kifejezések magyar nyelvbe való átültetéséért, a nyelvújítás korában megalkotott kifejezések között sok olyan akadt, amely már idegenül csengett az 1800-as évek második felében. Ezért aztán Szily kritikai vizsgálat alá vetette a tudományos nyelvalkotás kifejezéseit, s összeállította A magyar nyelvujítás szótárát. Ennek révén gyakorlatilag megrostálta a szavakat, s kiválogatta azokat a kifejezéseket, amelyek mind a mai napig életképesek. Bugát Pál orvosi nyelvújítási szavai közül például legalább öt tucat szakszót vett fel a szótárába. Így maradt meg a mindennapi használatban például a csipesz a csípni való eszközből, a gyógyszer a bonyolult orvoslani való szer kifejezésből vagy a műtét, felváltva a nyakatekert műveglés szót.
A fizikus Szily Kálmán a pályája végére egészen átalakult bölcsésszé, filológussá. A Nyugat szerzője ezt így idézte fel: „Mint az Akadémia főkönyvtárnoka a legideálisabb könyvtárnok volt. Bárki fordult is hozzá tanácsért, útbaigazításért, Szily Kálmán a legnagyobb örömmel állott rendelkezésére. Nem túlozok, ha azt mondom, hogy fiatal kutatóknak, akiket »uramöcsém«-nek szólított, egy-egy adat megkeresése érdekében heteken át bújta a könyveket és az utolsó évtizedek tudományos műveiben sokszor olvashatjuk csillag alatt: »Szily Kálmán szíves közléséből van tudomásom a fenti adatról«.” Kell annál nagyobb tudományos megbecsülés, mint ha valakinek a szóbeli közlését forrásmegjelölésként használják?