Mindazonáltal a két irányzat hívei közt meglehetősen nagy különbségek is akadnak. Máshogy észlelik például a társadalmat: a konzervatívok Burke, a középkori gondolkodók és realista filozófusok nyomában járva (szemben a nominalistákkal) nem egyéneket látnak első körben, hanem azon természetes közösségeket, amelyekben az egyén él: a családot, az egyházközséget, iskolát, munkahelyet, a helyi közösséget, a régiót, a társadalmi osztályt, a nemzetet és így tovább. A konzervativizmus megszületésének egyik oka az volt, hogy Burke szerint a francia forradalom az egyéni szabadság nevében lerombolta a hagyományos közösségeket, az arisztokráciát, a patriarchális családot. Az individualizmus abszolutizálása legalább annyira veszélyes a szabadságra, mint a nacionalizmus abszolutizálása.
Persze a libertáriusok – ismeri el Nisbet – nem vakok és érzéketlenek a természetes közösségeket illetően, és ugyanúgy elkötelezettek az önkéntes társulások iránt, mint a konzervatívok. Proudhon és Kropotkin anarchista libertarianizmusa a létező társadalmi csoportok alkotta rendre épülne, nem egy absztrakt valamire – teszi hozzá Nisbet, aki szerint viszont az utóbbi idők libertárius gondolkodásában sokkal nagyobb adag „egoista hormon” van, mint a konzervatívban. Mintha a mai libertáriusoknak csak az egyének lennének az igazi létezők, az intézmények csak az egyének árnyékai.
A szabadság konzervatív koncepciója a tekintély filozófiájából eredeztettetik. A konzervatívok számára a társadalom a tekintélyek pluralitása. Van szülői tekintély, tanári tekintély, papi tekintély, főnöki tekintély, és így tovább. Rengeteg tekintély van, ha belegondolunk, hogy hányféle csoportnak, közösségnek vagyunk részei és mennyi emberi kapcsolatunk van. A konzervatívok számára az egyéni szabadság a társadalmi és erkölcsi tekintélyek közeiben létezik.
Az az érv, hogy a társadalomban jelen lévő erős tekintély összeegyeztethetetlen a szabadsággal, figyelmen kívül hagyja vagy félreérti a kulturális történelmet – írja Robert Nisbet. Az ilyen tekintély a libertáriusok számára a despotizmus veszélyét hordozza magában, ezzel pedig elfeledkeznek a fontos különbségről a központi, bürokratikus kormányzat és a természetes közösségek – család, iskola, helyi csoportok – között. Ugyancsak más a felfogás a két irányzat közt a nemzetet illetően, amit a konzervatívok a közösségek közösségének tartanak.