In 1397 is Zorgvliet al bekend als een stuk grond met boerderij. De aanleg van een buitenplaats begint in 1643 als Jacob Cats een terrein verwerft van “drie morgen en honder vijf en negentig roeden lants, met een huys, schuyr, bargen en geboompte daerop staende, als mede noch seeckere geesten, klingen en een stuck lant”. In 1644 breidde hij zijn bezit uit met een stuk duin waar op konijnen gejaagd mocht worden.
Het gebouw in de zeventiende eeuw
Als Cats in 1654 een herenhuis laat bouwen hebben de hofstede en plantage al duidelijk vorm gekregen. Het door Lodewijk Huygens ontworpen huis is een laag langgerekt gebouw in classicistische stijl. Hoe de plantage er uit heeft gezien is niet bekend. Uit beschrijvingen komt naar voren dat deze hoofzakelijk utilitair van aard was. Op een gravure uit die tijd zijn een pyramide, een zittende Poseidon op een heuvel, een met horens, schelpen en zeegras versierde grot met een vogelkooi en een veelhoekige toren te zien. Verder lagen er bij het huis drie visvijvers.
Uitbreiding
Na het overlijden van Cats wordt het landgoed in 1675 verkocht aan Hans Willem Bentinck. Hij breidde het landgoed aan de noordzijde uit en bouwde hier de beroemde oranjerie van Zorgvliet. Bentinck had voor de aanleg advies ingewonnen bij Johan Maurits van Nassau-Siegen. Johan Maurits had zijn ideeën op papier gezet en schreef “Het vraaiste en raerste in Holland is eene leevendige beeck te hebben, vermits de rechte linien niet altijt aengenaem zijn”. Dit was opvallend in een tijd dat tuinen altijd in geometrische stijl werden aangelegd. Hij liep vooruit op de ideeën die een halve eeuw later tot de Engelse landschapsstijl zouden leiden. Bentinck gaf de tuin echter een strak formele aanleg. In het huis bracht hij interne veranderingen aan en op het dak plaatste hij een sierlijk torentje met windwijzer. De oranjerie met ovalen vijver heeft de vorm van een halve cirkel met in het midden een zaal. Rond 1690 zijn op een schilderij van het landgoed een labyrint, de “Groene Parnassusberg”, de Ganymedesgrot, een Triophboog, zeven geschilderde Piramidise Throphees, de Herculesfontein en andere kassieke beelden te zien. Ook waterwerken zoals de beek die nu grotendeels overkluisd is, cascades, fonteinen en bedriegertjes trokken veel bekijks.
Een belangrijk park
Na het overlijden van Bentinck wordt het landgoed toebedeeld aan één van zijn zonen, Willem Bentinck van Rhoon. Hij liet grote veranderingen aanbrengen, hij ruimde de stijve parterres op en verving deze door een meer gevarieerde en afwisselende aanleg. Na zijn overlijden in 1774 zet zijn kleinzoon Willem Gustaaf Frederik de omvorming naar landschapsstijl voort. Zorgvliet behoort tot de belangrijkste vroege parken in landschapsstijl in ons land.
De Engelse romanticus William Beckford beschreef met milde spot de aanleg als volgt “De wandelpaden en lanen hebben al die stijfheid en formaliteit die onze voorouders zo bewonderden, maar de daartussen gelegen velden met hier en daar wat polletjes planten en bestrooid met bloemen zijn een stijl, die men in Holland als Engels beschouwt” en over de zuinige aanleg van de Nederlanders “die tuinen maken uit zandhopen en steden uit water”.
Verval
Het gaat bergafwaards met Zorgvliet als Bentinck gevangen wordt genomen en na vrijlating in 1798 naar Engeland vlucht. Bij zijn terugkeer in 1813 ontstaan er geldzorgen en Zorgvliet wordt in 1819 verkocht. In de tussentijd was de oranjerie afgebroken en het buitenhuis naar de mode van de tijd wit gepleisterd.