De kasteelhoeve Hof Terheyde behoorde tot het domein van de heerlijkheid Terheide. In haar huidige vorm gaat ze terug tot de 17de eeuw. Een gedeelte is zelfs ouder, maar de hoeve zelf werd in de 19de eeuw aangepast.

De familie Pangaert bewoonde de hoeve van 1714 tot 1798. De laatste eigenaar van de heerlijkheid Terheide was de genaamde François Joseph Ignace Pangaert. Door de Franse Revolutie werden alle voorrechten van de heerlijkheid afgeschaft en werd het domein opgenomen in de gemeente Hoeilaart. De goederen van de familie Pangaert werden in 1823 opgekocht door de familie de Man, die naast de hoeve het huidige kasteel-gemeentehuis liet bouwen.

De vierkantshoeve werd de voorbije decennia in twee fasen gerestaureerd. In 1994 kwam eerst de zuidvleugel aan de beurt. Hier is nu de gemeentelijke dienst Omgeving gehuisvest. Eind 2008 werden de gerestaureerde westelijke en noordelijke vleugel in gebruik genomen door de dienst Burgerzaken en de technische dienst. In mei 2009 opende het Sociaal Huis zijn deuren in de vroegere 'orangerie' van de hoeve. De namen van de zalen Hof Terheyde en zaal Pangaert, twee mooie zolderruimtes met gerestaureerde balkenstructuur, verwijzen naar de geschiedenis van de hoeve.