Jan Maximiliaan Baron van Tuyll van Serooskerken (1710-1762), Heer van Vleuten en Westbroek was generaal-majoor der cavalerie. Hij was geboren op Slot Zuylen in Utrecht. Zijn eerste vrouw, barones Ursule van Reede, is jong gestorven; zij heeft hem vijf kinderen geschonken. Na haar dood trouwde hij met Johanna de Geer, met wie hij in 1760 in Heeze ging wonen. Jan Maximiliaan overleed echter al in 1762 en de heerlijkheid Heeze-Leende met het kasteel zou na de dood van zijn tweede vrouw geërfd worden door zijn jongste zoon Reinout Diederik (1747-1784).
Reinout Diederik was getrouwd met Carolina barones van Randwijck en leefde in Heeze tot aan zijn dood in 1784. Jan Diederik (1773-1834), oudste zoon van Reinout Diederik, erfde toen het kasteel. Jan Diederik was getrouwd met Johanna Catharina van Westreenen. Hij was een bekend landelijke politicus en had diverse openbare functies zoals lid van de Eerste en Tweede kamer van het parlement en later burgemeester van Heeze en Leende. In 1795 werd het kasteel ingrijpend gerenoveerd.
Jan Diederik had 4 kinderen, Reinout Carel, Ursula, Aimée en Karel. Na de dood van Jan Diederik in 1834 bleef zijn vrouw met haar dochters op het kasteel wonen. Reinout Carel, de oudste zoon en erfgenaam, was muntmeester in Utrecht. Hij liet Heeze aan zijn moeder en zusters over. De 4 kinderen bleven uiteindelijk allemaal kinderloos en toen Ursula als laatste op 96-jarige leeftijd in 1901 stierf liet ze de bezittingen in Heeze na aan een achterneef, Samuel John Baron van Tuyll van Serooskerken.
Samuel John was kamerheer in buitengewone dienst van koningin Wilhelmina. Hij liet onder andere de garages bij Eymerick bouwen en ook de tuinmanswoning aan de noordkant van het kasteel.
Samuel John is nooit getrouwd. Na zijn dood in 1955 erfde een achterneef uit Geldrop, Hendrik Nicolaas Cornelis Baron van Tuyll van Serooskerken (1916), het kasteel en de heerlijkheid. Hij was gehuwd met Micheline Halewyck de Heusch (1922-2000) en burgemeester van onder meer Doesburg en Lochem. In 1981 richtte hij de Stichting Kasteel Heeze op met als doel de instandhouding van kasteel Heeze als cultuureel historisch monument in zijn landschappelijke omgeving met de bijbehorende opstallen en gronden. Hendrik werd opgevolgd door diens zoon Samuel Ernest (1951).