'Huize van de kasteele', belangrijk patriciershuis