Míg József nádor inkább pihenni járt nyári palotájába, fiának, József Károly főhercegnek ez lett az otthona házassága után. Hét gyermeke közül öt született Alcsúton. „Palatinus Jóska” idején a kert tovább szépült, és több új épületet is emeltek. A hatalmas pálmaházat Ybl Miklós tervei alapján építették fel 1872-ben. A kastély egykori északi szárnyához kapcsolt istállóból 1879–1880-ban Storno Ferenc tervei alapján, neoromán stílusban alakították ki a kápolnát, mely ma is áll. Alcsútot a főherceg éppoly elegáns lakhellyé építette, mint a budai Várban, a Sándor-palotával szemközti késő barokk Teleki-palotát, melyet megvásárlása után historizáló stílusban újított fel. Nem véletlen, hogy ebben a formájában fogja a kormány visszaépíteni a háborúban megsérült, majd a hatvanas években felrobbantott épületet.
Míg Budán reprezentált József Károly, Alcsúton úgy élt, mint egy jó gazda: hajnalban kelt, végigjárta a birtokot, vadászott, délután némi zenélés, társasági élet volt programon, és fogadta a mintagazdaság és kertészet látogatóit. Másik kedvenc időtöltése a népmesék gyűjtése és a cigány nyelv és kultúra tanulmányozása volt. Gyakran járt a faluszélen megtelepedő cigányok között, házat, iskolát épített nekik, kenyérsütésre tanította az asszonyokat, a lányoknak hozományt adott, sok esküvőn maga volt a násznagy.
A kastélyban született a magát magyar arisztokratának valló Habsburg–Lotaringiai József Ágost főherceg, akinek a marsallbotját nemrég vette meg a kormány 54 millió forintért. A főrendiház és a Vitézi Rend tagját, az MTA elnökét a botanika helyett inkább a pesti társasági élet érdekelte, így főleg a budai palotában tartózkodott, a nyarakat pedig tihanyi nyaralójában töltötte. Inkább Békés megyei bánkúti birtokára, az ott nemesített kiváló gabonára volt büszke egy 1937. júniusi naplóbejegyzése szerint: „Alcsút már évek óta nem jövedelmez, és rá kell mindig nagy összegeket fizetnem. Talán, ha majd erdősítésem fölnő, akkor unokáimnak lesz hasznuk belőle.” A birtokközpont ettől még Alcsút maradt, ott őrizték a levéltárat. Az ügyeket József Ágost anyja, Klotild főhercegné vitte 1927-es haláláig, majd testvére, Erzsébet főhercegnő volt a palota lakója és gazdája.
A főherceg inkább csak látogatóban fordult meg Alcsúton, másutt keresett magának feladatot. Derekasan végigharcolta az első világháborút, embersége miatt a katonái „József apánknak” nevezték. A vereség után felesküdött a Károlyi-féle Magyar Nemzeti Tanácsra, a kommün viszont internálta, az alcsúti birtokon lett favágó. A vörösök bukása után kormányzónak nyilvánította magát, de visszavonult, amikor kiderült, hogy az antant nem nézi jó szemmel a Habsburg-restaurációt. Naplójából kiderül, hogy nem sokra becsülte Horthyt, a református köznemesből lett kormányzót, és soha nem tett le ambíciójáról, hogy alkalomadtán a helyére álljon. Ugyanakkor a nyilvánosság előtt kiegyezett Horthyval, amiért meg is kapta a jutalmát. Míg Ausztriából száműzték, és megfosztották javaiktól a Habsburgokat, ő megtarthatta birtokait. A nyilas hatalomátvétel után a főherceg hűséget esküdött Szálasinak. A háborús vereség emigrációba kényszerítette, az NSZK-ban szervezte újjá a Vitézi Rendet, itt érte a halál 1962-ben.
