De stichting van Dordwijk wordt rond 1635 gedateerd: toen moet de boerderij zijn gebouwd. De buitenplaats, dat wil zeggen tuin, huis en andere opstallen, besloeg maar een klein rechthoekje tussen de Dubbeldamseweg en de Achterweg. De rechthoekige vorm kwam overigens voort uit de oude bekadingen in de polder.
Eigenaar en vermoedelijke bouwer van het herenhuis was Cornelis van Beveren, lid van een Dordtse regentenfamilie. Door vererving verviel Dordwijk rond 1640 aan de familie van Leijden van Leeuwen. Deze familie gaf het landgoed in huur of te leen aan een familielid: de Dordtse landschapsschilder Albert Cuyp. Cuyps dochter Arendina huwde met Pieter Onderwater, een Dordtse brouwer, die de buitenplaats in 1692 van de Van Leijdens kocht. Tot in de 19de eeuw bleef de familie Onderwater in bezit van de buitenplaats.
Pieter Onderwater en zijn nakomelingen hebben veel gebouwd en aangeplant op de buitenplaats. In 1720 werd de schuur van de kasteelboerderij vergroot. Aan het huis zelf vonden enige aanpassingen plaats. In de buurt van de tuinmanswoning, achter in de boomgaard, werd omstreeks 1773 een grote, grotendeels glazen theekoepel gebouwd. Dordwijks grote tijd brak pas aan in de 19de eeuw. In de eerste helft van de 19de eeuw kwam Dordwijk in handen van Antonia Clara Stoep, de erfgename van Abraham Hendrik Onderwater. Haar erfgenamen verkochten de buitenplaats aan de gefortuneerde jonkheer Pieter H. van de Wall, heer van Puttershoek en officier van justitie in Dordrecht. Hij was gehuwd met jonkvrouwe Maria Jacoba Repelaer. Tot 1976 zou Dordwijk eigendom blijven van de familie Repelaer. In de korte tijd dat hij Dordwijk bestierde, wist Pieter van de Wall grote veranderingen te realiseren. De ingrijpendste maatregel was ongetwijfeld de opdracht aan landschapsarchitect Johan David Zocher jr. om de tuin geheel te hervormen. Het waren de dagen van de late landschapsstijl.
Bij zijn ontwerp maakte Zocher gebruik van bestaande watergangen, die hij deels in de nieuwe aanleg opnam. Daarnaast moest hij in zijn ontwerp rekening houden met het herenhuis, de 18de-eeuwse glazen koepel en nog enkele opstallen. Er kwam een verwarmde anannaskas. De kasteelboerderij werd grootscheeps verbouwd. Een gedeelte werd afgebroken en de helft van het woonhuis werd een koetshuis met paardenstal.
Na het overlijden van Pieter van de Wall, nam zijn weduwe tuinarchitect-bloemist Christoffel Eggink in dienst. Hij kwam in 1854 als rentmeester op Dordwijk wonen, met de opdracht de beplanting naar Zochers ontwerp uit te voeren. In hetzelfde jaar werd een nieuwe villa gebouwd. Het in Zwitserse chaletstijl gebouwde huis werd voortaan Huize Dordwijk genoemd.
Een van de zichtlijnen vanuit de villa liep naar de nieuwe hertenkamp, met het houten hertenverblijf. De boomgroepen van beuken en paardenkastanjes staan er nog steeds. Behalve met de beplanting hield Eggink zich ook bezig met priëlen, rustbanken en bruggen, waarvan veel bewaard is gebleven. De glazen theekoepel en de oude tuinmanswoning met oranjerie die in Zochers ontwerp nog een plaats hadden gekregen, werden door Eggink niet gehandhaafd. Er kwam in 1861 een nieuwe tuinmanswoning op dezelfde plaats. De nieuwe grote oranjerie, met gietijzeren dakconstructie en glazen gevels een vooruitstrevend bouwwerk, kwam min of meer in het midden van het oude gedeelte aan een vijver te staan.
