A későbbi rekonstrukcióknak köszönhetően a klasszicizmus jegyei is mutatkoztak a kastélyon. A kastélyt egy nagy kiterjedésű angolpark (melynek területe 8 ha) veszi körül és a Sári patak szeli ketté. Akkoriban néhány további épület is tartozott hozzá, a „Baglyos ház”, amely mára a helyi múzeumnak adott otthont és a Magyar Ház, amely a helyi Csemadok alapszervezetének a székhelye.

Az Esterházy család javarészt Bécsben tartózkodott, a kastély inkább csak nyári lakhelyükként szolgált. A zselízi uradalom és a kastély gróf Esterházy János Károly (1775–1834) és felesége, (Tolnai) Festetics Rozina (1779-1854) által szerzett hírnevet. Ők alapították az gazdaság új majorjait: Rozinát, Máriát, Karolinát és Albertet. A gróf a művészetek kedvelője és bőkezű mecénása is volt. Esterházy János Károly Zselíz városát világhírűvé tette azzal, hogy 1818-ban és 1824-ben leányai zeneoktatásának céljából meghívta ide Franz Schubert bécsi zeneszerzőt.

Aki, a jó körülmények és a nyugodt környezet hatására, pont itt lelt értékes inspirációra. Néhány művét Esterházy Karolina grófkisasszonynak ajánlotta, akibe titokban szerelmes volt. Az egyik ilyen ismert darab az F-dúr oktett. Schubert, miután visszatért Bécsbe, rövidesen fiatalon meghalt. Növendéke és plátói szerelme, Karolina bélgyulladásban hunyt el 46 évesen. Földi maradványait a zselízi katolikus temetőben található Esterházy-sírhely őrzi. A gróf saját, személyes kérésére a zselízi neogótikus kriptában temették el Esterházy János Károly szívét is. Teste Galántán nyugszik, de szívét a neki kedves Zselízen kívánta örök nyugalomra helyezni.

Özvegye, Esterházy Rozina szintén rendszeres erőfeszítést tett az irányban, hogy a zselízi kastély tekintélyét növelje, többek közt azzal is, hogy 1842–43-ban itt alkalmazta a világhírű cukrászmestert, Franz Sachert. Ő nem más, mint a híres Sacher torta feltalálója. A cukrász sikeresen tevékenykedett itt, ráadásul Zselízen született fia, Eduard Sacher 1843-ban. Aki később az ötcsillagos szállodalánc és kávézók alapítójaként vált ismertté. A helyi jövedelmező gazdaságok, az erdők és természetesen a kastély is fokozatosan az Esterházyak utódaira szállt, bár a véletlen folytán csupán a női ágon, ezért említést érdemelnek a kastély későbbi lakói is: Breunner – Enkevoirth gróf, Auersperg herceg, Coudenhove – Honrichs gróf. A kastély utolsó nemesi származású tulajdonosa Ernestína Breuner-Coudenhove grófnő volt a háború előtti időszakban, egészen 1944-ig. A második világháború után a teljes birtok államosítás alá került. A kastély a 60-as években, mint óvoda működött, napjainkban pedig már a város tulajdonát képezi, tervezett felújítását követően kulturális célokra szeretnék kihasználni.