A szabadságharc bukását követően, mint tudjuk Károlyi Istvánt 3 év várfogságra ítélték. A megtorlás éveiben rettegésben, besúgók és erőszak mellett élt az ország. Az ötvenes években nem lehetett sok jóra számítani, a hatalom főrangút és közembert egyaránt sújtott, ha hazafias irányultságot látott.

Később oldódott a helyzet, a fóti kastély Károlyi István révén ismét fontos szerepet töltött be az akkori társadalmi életben.

1856. szeptember 6-án járt Fóton Liszt Ferenc, akit Károlyi István még Párizsban ismert meg. Megcsodálta a templomot, játszott az orgonán. A zeneszerző két művét is Fóton mutatták be, a Szent Erzsébet legendáját és a Pápai himnuszt.

1860-ban Ferenc József azt ígérte, visszaállítja a megyei önkormányzatokat. A fóti kastélyban konferenciát tartottak az 1848-as megyei vezetés volt tagjai, melyen megyei főispánná ismét Károlyi Istvánt választották.

Ferenc József azonban mégsem engedte működni a megyei tisztikart, ezért kényszerűségből lemondtak. A főispán és a tisztikar búcsújára Fóton került sor, a szemtanú erről a következőt írta:.

„ A fóti búcsúlakoma szombaton gróf Károlyi István kastélyában igen érdekes vala. A gróf a parkban kilovagolt a vasútról érkező vendégei elé, kik megtekinték a szép templomot, a kastélyt, könyvtárt és kertet. Déli 12 órakor a kastély nagytermében Nyáry Pál a tisztikar nevében búcsúbeszédet monda. A lakoma 3 óra tájban kezdődött. Melyet cigányzene és lelkesnél lelkesb beszédek élénkítettek. Többi közt igen szép volt Jókaié, aki a hazaszeretetre buzdított. Ebéd után táncmulatságot rögtönöztek a fóti falusi menyecskékkel és lányokkal.

1861-ben egy jelentős megbeszélés volt a fóti kastélyban. Felmerült a pesti írókörökben egy olyan egyesület létesítésének gondolata, mely a szegény írók támogatását vállalja magára. Az önkényuralom évei alatt az erre irányuló kérvényt az osztrák hatóságok nem engedélyezték, mondván, ez is az ellenállást szolgálja. Mégis megalakult Károlyi István anyagi támogatásával a Magyar Írók Segélyegylete. Az alakulás nehéz munkájában részt vett Eötvös József, Kemény Zsigmond, Toldy Ferenc. Így került Fótra és támogatóvá, barátjává vált Károlyi Istvánnak Garay János, továbbá háztelket adott Vas Gerebennek. Támogatta a képzőművészeket is, mint pl. Barabás Miklóst.

Az Osztrák Császárság felismerte, hogy a magyar arisztokrácia támogatása nélkül a jövőben nem sokra megy, így a kiegyezés után próbálta javítani a kapcsolatokat. 1868-ban Rudolf trónörökös testvérével, Gizellával többször Fótra látogatott. Anyjuk, Erzsébet királyné pedig gyakran átlovagolt Gödöllőről Fótra, Károlyi István vendégeként. 1871-ben egy hadgyakorlat kapcsán Ferenc József császár napokig a fóti kastély vendége volt, de Károlyi István, nem feledve a múltat, ez idő alatt kiköltözött a kiskastélyba. A császár, hogy találkozzon vele, ő látogatta meg a grófot és nem fordítva.