Het kasteel la Bruyère was eigendom van de heerlijkheid Germinies. De eerste gekende eigenaar was Nicolas Meurisse, heer van Moucheau.
In 1657 kocht Jean du Quesne het van hem.
In 1713 verkocht Philippe du Quesne, zoon van de vorige eigenaar, een deel van het domein aan Pierre Laho.
Vervolgens verkocht zijn zoon Pierre-François Laho het goed in 1753 aan Emmanuel de Cambry, jonkheer, heer van Quelon, inwoner van Celles.
In 1791 verhuurde diens echtgenote Thérèse van de Kerchove, die in Doornik woonde, het kasteel voor 99 jaar aan de edele heer Léonard de Hollain, jonkheer, heer van Moucheau.
In 1792 overleed deze dame en al haar bezittingen werden verkocht. De edele heer van Hollain kocht het kasteel en wat grond. In 1802 trok die zich terug in Helchin en verhuurde het goed gedurende 9 jaar aan Charles Despretz de Froyennes. Daarna verkocht hij het in 1809 aan de heren Lefevre, Mondo, Isebecque en Dubuisson. In 1812 boden zij het te koop aan, en mevrouw Constance de Cambry, echtgenote van jonkheer Felix de Formanoir, burgemeester van Celles, die in het kasteel La Cazerie verbleef, kocht het.