Si nous nous basons sur le livre de M. Constant Theys « L’histoire de Dworp », nous apprenons que le château date de 1649. Le bâtiment actuel a été construit par M. Ignaas Le Roy, qui a fait bâtir le château à l’est de la ferme déjà existante «Borchthoeve” avec « Den Toren ». La dite Tour était alors un des restes du domaine «Kesterbeek » que nous retrouvons dans les actes de 1438 et de 1558.

Le château tel qu’il existe aujourd’hui est une rénovation de l’ancien.

On avait la maison de maître, la grande cour et tous les flancs qui étaient entourés d’eau. Le pont-levis donne l’accès à la maison. Au-dessus de la porte on voit toujours l’écusson des Le Roys.

Le château, maison et ferme incluses, a été détruit le 17 février 1684 par l’armée de Louis XIV.

Jaak Landelijn Le Roy, fils d’Ignaas, l’a fait reconstruire.

Les parties suivantes sont tout ce qui reste du château rénové : la partie centrale avec la tour carrée, basée sur 4 piliers avec 4 arcs et une imitation du château brûlé en 1684.

Ensuite, en 1693, il a vendu le château à Pieter Fraiseau pour 26.000 florins. En 1725 la maison pesait aux mains de Pieter Robijns, après sa mort en 1728, son épouse se remariait avec le chevalier Willem de Hemptines. À sa demande le domaine de Dworp a été élevé baronnie par le roi en 1757.

Le gendre du Baron de Hemptines, compte Gommart de Crez, héritait toutes les terres et toutes les propriétés après la mort sans enfants de sa femme. Ainsi le domaine de Dworp passait à la famille Cornet de Grez. Nous retrouvons leur écusson avec 3 cornes dans la girouette du donjon. Cet écusson a été repris dans le nouveau symbole du château Gravenhof.

Il faut attendre 1870 pour voir les ailes latérales s’ajouter aux quatre tours flanquantes. Au même moment on a également comblé les canaux à l’avant.

Entretemps le château passait de famille en famille selon des principes de succession. Jusqu’au moment où la dernière héritière de la famille Cornet de Crez, la baronne d’Anetham a loué le château à la famille bruxelloise Wauquez.

Pendant la première Guerre Mondiale, les Allemands utilisaient le château. Après la famille a pu le reprendre. Pendant la deuxième Guerre Mondiale le château était à nouveau occupé par des généraux allemands et après la libération arrivaient les prisonniers soviétiques et le Foster Parents Plan for war children. Après le château était pour la plus grande partie inhabité.

En effet, le château n’avait pas été entretenu depuis la première Guerre Mondiale et avait un aspect triste en ce temps-là. Surtout le manque des travaux d’entretien au toit et aux égouts, et pas beaucoup d’enluminure faisait décliner le château très rapidement.

Cela a duré jusqu’au 9 août 1959 quand M. Piet Demol, qui depuis sa tendre enfance rêvait déjà de ce château, a pu l’acquérir. Il a acheté le château de la baronne d’Anethan, avec le 4,5 hectares environnants. Les autres 18 hectares ont été achetés par la F.I.V.B. (Federale Immobiliën Vennootschap van het bouwbedrijf), qui voulait les lotir en 136 terrains à bâtir.

Le premier juillet 1960 le château a été ouvert au public nommé Gravenhof, selon les différents comptes qui ont vécu dans le château.

Le château devenait un complexe pour des fêtes familiales, des réceptions, des réunions et des centres d’étude. Et en plus 26 chambres et 56 lits.

Le premier mai 1988 Gravenhof S.A. a été repris par la maison Van Wonterghem, qui promettait de lui redonner toute sa gloire en le rénovant et en adaptant le confort des salles et de l’hôtel aux normes actuelles.