A l’emplacement de cette maison se trouvait en 1300 la maison de Jan Breydel.
Trois maisons ont été jointes au XVIIIe siècle pour former une grande maison de maître.
Vers 1900 l’industriel Jean de Brouwer fit entreprendre d’importantes transformations, tant à l’intérieur qu’à l’extérieur. Le splendide intérieur néorenaissance avec des fresques d’Emile Rommelaere est unique à Bruges. Ayant sousestimé le coût des transformations, de Brouwer dut en 1903 vendre la demeure au Baron Charles Gillès de Pélichy. Celui-ci réaménagea des parties de l’intérieur dans le style néogothique (son style préféré), principalement dans son bureau et sa bibliothèque.
La maison appartient actuellement à son petit-fils, le Chevalier Baudouin de la Kethulle de Ryhove, Ambassadeur de S.M. le Roi des Belges.