De heer Constant Theys schrijft in « De Geschiedenis van Dworp » in 1948 dat het huidig kasteel door Ignaas Le Roy gebouwd werd omstreeks het midden van de 17e eeuw. In de westelijke zijtorens vinden wij inderdaad nog ankers die het jaar 1649 vermelden.

Uit de beschrijving in 1722 van de toen drieëntachtigjarige schepen Jan Matton, vernemen we dat deze beschrijving overeenkomt met de pentekening van het kasteel daterende uit 1696, die Baron Le Roy in het “Groot Wereldlijk toneel” geeft, welke wij teruggevonden hebben en lieten afdrukken.

Het huidige kasteel werd gebouwd ten oosten van een bestaande “Toren” die een overblijfsel moet geweest zijn van de “Heerlijkheid Kesterbeek” die reeds in akten uit 1438 en 1558 vermeld wordt. Deze toren zou een overblijfsel zijn geweest van het kasteel “De Hoofve van Kesterbeke” en zou daarna een kasteelhoeve geweest zijn.

Reeds in de 13e eeuw treft men een “Willem van Kesterbeke” aan, die in 1285 schepen van Brussel was.

Het is Ignaas Le Roy die de heerlijkheid van Dworp kocht, doch naast de “borchthoeve” met de toren een nieuw kasteel liet bouwen, meer ten oosten, omdat de eerste vermoedelijk al te vervallen was om het te verbouwen. Het is over dit kasteel dat schepen Matton schrijft en dat er nog steeds staat.

Volgens de beschrijving van Baron Le Roy in 1696 was het kasteel met wallen en met een ophaalbrug omgeven. Daarachter bevond zich een onregelmatig complex van vier eenvoudige gebouwen, daarachter een hoge vierkante toren met een klein venster en op het dak twee windwijzers. Dit is het zogenoemde “Hof van Kesterbeek”, de borchthoeve.

In verschillende oude oorkonden is er sprake van deze “Toren” zoals hij duidelijk te zien is op de pentekening die in 1696 gemaakt werd : “Prospectus Castelli Dworp-Gallice-Toovrneppe”.

Het kasteel zoals het er thans staat is een verbouwing van het vroegere. Het bestond uit een herenhuis, een groot neerhof en was aan alle zijden met water omgeven. De ophaalbrug verleende toegang tot de woning. Boven de deur prijkt het wapen van de Le Roy’s. Het kasteel met huizing en hoeve werd op 17 januari 1684 door de legers van Lodewijk XIV in as gelegd.

Jaak Landelijn Le Roy, zoon van Ignaas, beijverde zich om het weer op te bouwen. Van het wederopgebouwde kasteel zijn enkele delen bewaard gebleven nl. : het middengedeelte met de vierkante toren, steunende op vier pijlers met bogen en nabootsing van het in 1684 afgebrande slot. In 1870 werden er de zijvleugels met de vier zwarte hoektorens aan toegevoegd en aan de voorkant de grachten gedempt.

In 1918 werd het kasteel als monument geklasseerd. Achter het kasteel stond een schandpaal, die tot de jaren 1900 voor de oude kerk stond. In 1948 liet het gemeentebestuur de schandpaal opnieuw oprichten naast het gemeentehuis. Een lantaarn die de schandpaal achter het kasteel versierde, staat er nog. Er zijn weinig of geen kunstschatten in het kasteel bewaard gebleven. Er is de sierlijke voleiken trap, waarvan de steunpilaren van de leuning een echt kunstwerk zijn : het zijn allen enige stukken, in hun geheel dezelfde vorm maar onderling allen verschillend.

De voorzijden van de vier open haarden zijn versierd met gebakken tegels die, eveneens enige stukken, meestal fragmenten uit het oude en nieuwe testament voorstellen. Er werden twee schilderijen teruggevonden uit de tijd van de Graven Cornet de Crez, waarvan noch de ouderdom, noch de kunstenaar bekend zijn. Er is een ingemetselde brandkoffer waarin enkele oude plannen, akten en brieven werden teruggevonden daterende vanaf 1807. Op de voortoren staat een windwijzer met drie hoorns, het wapen van de Graven Cornet de Crez.

In leenroerig opzicht hing Dworp grotendeels af van de Hertog van Brabant. Na herhaalde verpandingen sedert 1489 werd de grondheerlijkheid van Dworp tenslotte verworven door de “Heren van Kesterbeek” en groeide uit tot een “baanderij” of “baronie” in de 18e eeuw.

In 1649 voegde Le Roy, die reeds Heer van Kesterbeek was, de heerlijkheid van Dworp bij zijn heerlijkheid Kesterbeek en bouwde het kasteel. In 1693 koopt Pieter Fraiseau, Heer van Steenokkerzeel, beide heerlijkheden van Jaak Landelius Le Roy, zoon van Ignaas, voor 26.000 Gulden.

In 1725 ging de heerlijkheid over aan Pieter Robijns, wiens weduwe na zijn dood in 1728 huwde met Ridder Willem de Hemptines op wiens aanvraag de heerlijkheid van Dworp in 1737 door de koning tot baronie verheven werd. “Baron de Heptines van Dworp” huwde op zijn beurt, na de dood van zijn echtgenote, met Barbara de Vreven.

De geschiedenis van Dworp verhaalt dat “de Hemptines” van de kerkelijke overheid toestemming verkreeg op het kasteel de Heilige Mis te laten opdragen en dat de Barones Vlaams sprak, daar in de Franse akten van die tijd haar woorden letterlijk in de eerste taal werden overgenomen en dat het testament van Baron de Hemptines eveneens in het Nederlands is opgesteld.

Hun schoonzoon was Graaf Gommart Cornet de Crez, die in 1766 gehuwd was met hun dochter Helena, die reeds in 1771 kinderloos overleed. Door dit huwelijk kwam de heerlijkheid van Dworp in het geslacht Cornet de Crez, die aangehuwd was met de familie d’Elsius, uit Duitsland afkomstig.

Graaf Gommart overleed in 1811. Het was de laatste Heer van het Oude Regime. De staatsregeling van 1798 met de Brabantse omwenteling decreteerde dat alle heerlijke rechten uit het leenstelsel vervallen verklaard waren. Zijn zoon François huwde in 1796 en werd in 1825 burgemeester van Dworp tot bij zijn overlijden in 1827.

Zijn zoon Graaf Fernand was burgemeester van 1827 tot 1868. Graaf Raimond Cornet de Crez volgde op zijn beurt zijn vader op tot 1896. Zijn enige zoon Fernand-Raymons werd daarna de vierde burgemeester van Dworp uit de familie Cornet de Crez. Geboren in 1869 huwde hij in 1899 Hélène Deudon d’Heysenbroeck. Uit hun huwelijk sproot slechts één dochter Betha-Olga, geboren in 1900 en in 1922 gehuwd met Baron Paul-Marie d’Anethan uit wier huwelijk twee zonen afstamden.

Graaf Ferdinand-Raymons overleed in 1947, nadat hij zich in 1914 te Brussel gevestigd had en sedert 1916 geen enkele vergadering meer had bijgewoond ; de schepenen vervingen hem als hoofd van de gemeente. Van toen af werden de notulen van de Raad van het College in het Nederlands gesteld.

Met hem verdwenen de laatste mannelijke telgen uit het adellijke geslacht Cornet de Crez. De familiespreuk van de Cornet’s luidt : “Forriter et Honeste” – “Moedig en Eerlijk”.

Sedert het vertrek van de laatste graaf uit Dworp in 1914 zag het kasteel reeds vele bewoners komen en gaan.

Eerst werd het door de enige erfgename barones d’Anethan, geboren Gravin Cornet de Crez, verhuurd aan de familie Wauquez van Brussel. Tijdens de Eerste Wereldoorlog werd het gebruikt door de Duitsers, daarna opnieuw door de familie Wauquez. Gedurende de Tweede Wereldoorlog logeerden er andermaal Duitse opperofficieren, die achter de hoeve een omheining in zware baksteen lieten optrekken als beschutting tegen de bomaanslagen.

De barakken die ze binnen de omheining optrokken zijn afgebroken. Na de bevrijding kwamen er Russische krijgsgevangenen en daarna het “Foster Parents Plan for War Children”, een Amerikaanse vereniging dat een zestigtal kinderen hielp die slachtoffer waren van de oorlog.

Na het vertrek van de kinderkolonie bleef het kasteel een aantal jaren onbewoond en bood het weleer zo mooie park en kasteel begrijpelijkerwijze een verwaarloosde aanblik, daar het sedert het begin van de laatste wereldoorlog omzeggens geen doeltreffend onderhoud gekend heeft.

Het duurde tot 9 augustus 1959, toen de heer Piet Demol, die van jongs af aan droomde van dit kasteel, te verwerven. Hij kocht het kasteel en een omgeving van 4,5 hectare van barones Anethan. De overige 18 hectare werden gekocht door de FIVB (Federale Immobiliën Vennootschap van het Bouwbedrijf), die dit grondgebied wilde verdelen in 136 bouwkavels.

Op 1 juli 1960 werd het kasteel opengesteld voor het publiek, genaamd Gravenhof, naar de verschillende graven die in het kasteel geleefd hebben.

Het kasteel werd een bekend complex voor feesten, recepties, vergaderingen en studiecentra. Het beschikte eveneens over 26 hotelkamers met 56 bedden.

Op 1 mei 1988 werd het Kasteel Gravenhof overgenomen door het Huis Van Wonterghem, dat beloofde het Kasteel al zijn glorie te geven door renovatie en aanpassingen naar de huidige normen van comfort. Dit zowel voor de beschikbare zalen als voor de kamers.