Kaštieľ obklopuje rozsiahly anglický park (s rozlohou 8 ha), cez ktorý preteká potok Vrbovec. V tom čase ku kaštieľu patrili aj ďalšie budovy dnešný „Soví dom“, v ktorom dnes sídli miestne múzeum a dnešný „Maďarský dom“, ktorý je sídlom miestnej základnej organizácie Csemadok.

Esterházyovci sa väčšinou zdržiavali vo Viedni, kaštieľ im slúžil ako letné sídlo. Želiezovský kaštieľ a panstvo sa stali známe až prostredníctvom grófa Jána Karola Esterházy (1775 – 1834) a jeho manželky grófky Roziny Festetics (Tolnai) (1784 – 1854). Počas ich života tu boli založené aj nové hospodárske majere Rozina, Mária, Karolína a Albert, pomenované podľa členov rodiny.

Gróf bol výdatným mecenášom a milovníkom umenia. Želiezovce celosvetovo preslávil svojím rozhodnutím, že práve do tunajšieho kaštieľa v rokoch 1818 a 1824 pozval za účelom hudobného vzdelávania svojich dvoch dcér viedenského skladateľa Franza Schuberta. Franz Schubert pod vplyvom dobrých podmienok a pokojného prostredia práve tu našiel mnoho cenných inšpiračných zdrojov pre svoju tvorbu. Niekoľko svojich skladieb venoval práve komtese grófke Karolíne Esterházy, do ktorej bol tajne zaľúbený. Jednou z nich je známe Okteto
F- dur. Schubert krátko po návrate zo Želiezoviec do Viedne zomrel. Jeho žiačka a platonická láska zo Želiezoviec, Karolína, na následky zápalu čriev skonala ako 46 ročná a jej ostatky sú uložené v želiezovskej Esterházyho hrobke v miestnom katolíckom cintoríne. 

V spomenutej neogotickej hrobke je tiež pochované samotné srdce grófa Jána Karola Esterházy, nakoľko na jeho osobnú žiadosť telo pochovali v Galante. Do jeho obľúbených Želiezoviec si po smrti prial uložiť len svoje srdce. 

Vdova po grófovi Rozina Esterházy, taktiež systematicky prispievala k zviditeľneniu významu želiezovského kaštieľa, a to aj tým, že napríklad v rokoch 1842 – 43 tu zamestnala svetoznámeho cukrára Franza Sachera, autora svetoznámej Sacherovej torty. Majstrovi cukrárovi sa v našom meste darilo, dokonca práve tu sa mu narodil jeho syn Eduard Sacher v roku 1843, ktorý sa neskôr stal známym ako zakladateľ siete päťhviezdičkových hotelov a kaviarní. 

Tunajšie úrodné poľnohospodárske majetky, lesy a samozrejme aj kaštieľ prechádzali postupne na pokrvných potomkov Esterházyovcov, avšak zhodou okolností iba po ženskej vetve. Za zmienku preto stoja aj neskorší obyvatelia kaštieľa, ako: gróf Breunner – Enkevoirth, knieža Auersperg či gróf Coudenhove – Honrichs.

Posledným majiteľom kaštieľa z kruhov šľachty bola grófka Ernestína Breuner-Coudenhove v predvojnovom období, až do roku 1944.
Po 2. svetovej vojne bol veľkostatok kompletne skonfiškovaný. Počas 60. rokov bola v kaštieli zriadená materská škôlka. V súčasnosti budova tvorí majetok mesta, po plánovanej rekonštrukcii existujú ambície jeho využitia na kultúrne ciele.