In 1611 werd het plan opgevat om Westhoven, »aangezien de welgelegendheid en de soetigheid der plaetze, tot eene lllustre school bekwaam te maken," doch het ontwerp kon niet worden uitgevoerd, en zoo volgden de aanzienlijke geslachten van Reigersbergen, van Boreel en van den Brande elkander achtereenvolgens als bezitters van het vermaarde kasteel, tot het door de van den Brandes aan de van de Perres kwam, aan dien doorluchtigen mr. Johan Adriaan van de Perre van Nieuwerve, van Domburg, van Westhoven, van wat niet al, die zijn groot vermogen en invloed op zoo grootsche en waardige wijle wist te gebruiken, dat hij als de Médicis van Zeeland mag geprezen worden, zonder dat hem de heersch- en slaatszucht van dien Florentijn kan verweten worden, Deze edelmoedige grand seigneur wist aan onzen vermaarden Van der Palm in een moeielijk tijdperk van zijn leven een voorstel te doen dat hem op eens van ale zorgen en bezwaren des levens onthief, en hem in eene positie plaatste, waardoor hem bij licht te volbrengen plichten de gelegenheid gegeven werd om zijne eigene studiën en letteroefeniogen voort te zetten en zich in den omgang met den hoog begaafden en fijn beschaafden man te vormen tot dien veelzijdigen geleerde, man van de wereld (daarom niet wereldling), dien zijne tijdgenooten, vrienden en belrekkingen in hem hebben liefgehad en vereerd. Als Van der Palm ter vervulling van zijn ambstplicht (de leiding van den huiselijken godsdienst in het gezin van Van de Perre), van Duinbeek dat hij bewoonde, zich naar Westhoven begaf, en in de vroegte zijn weg nam langs den duinkant, welke herinneringen, welke beelden moesten er dan niet opdagen voor zijn geest, hij die, in Zeeland geboren, liefde had voor de oud-Zeeuwsche geschiedenis en die wist hoe Westhoven daarin niet zelden betrokken was. Welke gestalten traden hem dan niet tegen in verbeelding! Had hij de Villiers gekend zooals wij nu, zeer zeker zou hij in hem een geestverwant hebben begroet, maar de uitgever der Archives, aan wien men het meeste heeft te danken wat de kennis van zijn karakter en denkwijze betreft, moest toen nog geboren worden, en de gedachtenis aan dien belangwekkenden, maar weinig vermogenden Heer van Westhoven zal door latere meer schitterende bezitters, meer werkzaam voor het verfraaien en onderhouden van het landgoed, wel op den achtergrond zijn geraakt.
