Cromvliet doet voor het eerst van zich spreken als in 1560 mr. Adriaan van Leyden zijn grondbezit laat opmeten. Op de kaart is op de plaats van het huidige huis een L-vormige boerderij met schuur afgebeeld. De zoon van Adriaan van Leyden, Pieter (1592 – 1654), is mogelijk de bouwer van het huidige herenhuis. Wellicht gaf hij het ook de naam. Pieter was gehuwd geweest met de dochter van Bernard de Moucheron, die ook wel Bernard van Crompvliet werd genoemd.
Vroege geschiedenis
De naam Cromvliet komt voor het eerst voor in een akte in 1697 en zou kunnen verwijzen naar de lichte kromming in de Vliet vlak bij het buiten. Het huis van Pieter van Leyden is symmetrisch opgebouwd, opgetrokken uit rode baksteen op een hardstenen plint, telt twee verdiepingen en vertoont classicistische stijlkenmerken. Het huis heeft de E-vormige plattegrond zoals die ook op de kaart van Cruquius uit 1712 staat afgebeeld. Kenmerken van 17de-eeuwse bouw zijn duidelijk aanwezig, zoals het metselwerk van de buitengevel met zijn brede voegen met dagstreep en het rommelig metselverband. Opmerkelijk is dat de zaal met een lengte van 61 voet, zich bevindt aan de achterzijde op de eerste verdieping en zich over de volle breedte van het huis uitstrekt. Deze zaal is nog herkenbaar aan het tongewelf.
Modernisering
Als het buiten in 1759 in handen komt van Hendrik Caan is er sinds de bouw weinig gewijzigd. Caan en later zijn zoon, laten de buitenplaats aanzienlijk moderniseren en verfraaien. De dakopbouw die bestaat uit drie delen die loodrecht op de breedterichting zijn geplaatst, wordt vervangen door twee achter elkaar liggende zadeldaken, de geveldecoratie wordt aangebracht en de vensters zijn vergroot. Met deze ingrepen werd het een typisch 18de-eeuws classicistisch huis. Het park Cromvliet heeft in de loop der eeuwen verschillende verschijningsvormen gehad. De kaart uit 1560 laat zien dat de buitenplaats bestaat uit weiden, akkers en een boerderij met daarachter een stuk bos. Over het terrein liep een kruisvormig padenstelstel dat nog herkenbaar is in de huidige Penninglaan en Beetslaan. De kaart van Cruquius uit 1712 toont een geometrische tuinaanleg. De verschillende onderdelen zijn in afzonderlijke rechthoekige vlakken ondergebracht. Nuts- en siertuinen wisselen elkaar af. Volgens het principe van de barok lag het huis op de centrale as over het buiten.