Op de plaats van dit huis stond anno 1300 het huis van Jan Breydel.
Drie huizen werden in de 18de eeuw verenigd tot één groot herenhuis.
De industrieel Jean de Brouwer liet rond 1900 grote verbouwingswerken uitvoeren aan de binnen- en buitenkant. Het prachtige neo-renaissance interieur met muurschilderingen van Emile Rommelaere is uniek in Brugge. Aangezien hij de verbouwingskosten had onderschat zag de Brouwer zich in 1903 genoodzaakt het pand te verkopen aan Baron Charles Gillès de Pélichy. Die voorzag het interieur van elementen in neogotiek (zijn lievelingsstijl), voornamelijk in zijn bureau en bibliotheek.
Het huis is thans eigendom van zijn kleinzoon, Ridder Baudouin de la Kethulle de Ryhove, Ambassadeur van Z.M. de Koning der Belgen.