De stamboom van het geslacht Bisdom gaat terug tot de tweede helft van de 16de eeuw en begint met een zekere Jan Bisdom. Zijn nazaten verwierven een aanzienlijk bezit aan landerijen en genoten veel aanzien in de Krimpenerwaard. Zo was de derde generatie, Jacob Bisdom (1617-1704), hoogheemraad van de Krimpenerwaard. Zijn zoon, Adriaen (1664-1728), was notaris te Haastrecht. Adriaen wordt beschouwd als de bouwheer van het eerste huis van het geslacht Bisdom van Vliet. Zijn tweede zoon, Theodorus (1698-1777), bleef wonen in zijn vaders huis en was president-hoogheemraad van de Krimpenerwaard en burgemeester van Haastrecht. Sinds 1755 was Theodorus heer van de heerlijkheid Van Vliet, waarna deze familietak zich voortaan Bisdom van Vliet noemde. Uit zijn huwelijk in 1724 met Maria van Harthals (1703-1763) werden twaalf kinderen geboren.
De oudste zoon van Theodorus en Maria, Marcellus (1729-1806), trouwde in 1766 met Maria Catharina Reijnders (1737-1796). Verschillende belangrijke kunstvoorwerpen in het Huis Bisdom van Vliet zijn afkomstig van haar vader, Salomon Reijnders, vice-admiraal van Zeeland. Het echtpaar kreeg zes kinderen, waaronder één zoon, Salomon (1775-1825), die de naam Reijnders Bisdom aannam. Hoewel zijn echtgenote Paulina Maria Hondorff Block (1786-1871) vijf zonen baarde, is deze familietak in mannelijke lijn toch uitgestorven. Twee zonen, respectievelijk geboren in 1812 en 1814, werden slechts één jaar oud. Een derde stierf tijdens de Tiendaagse veldtocht aan de tering. Hun oudste zoon, Marcellus Bisdom van Vliet (1806-1877), volgde de familietraditie en werd burgemeester van Haastrecht. In 1839 trouwde Marcellus met Maria Elisabeth Knogh (1802-1871). Zij kregen één dochter, Paulina Maria Bisdom van Vliet (1840-1923), de laatste afstammeling van de Haastrechtse tak van de familie. Haar vader Marcellus bouwde het huidige huis.
De voltooiing ervan in 1877 heeft Marcellus amper meegemaakt. Na zijn overlijden volgde Paulina’s echtgenoot Johan Jacob Lefèvre de Montigny (1840-1881), hem op als burgemeester. Na zijn dood woonde Paulina als kinderloze weduwe nog 42 jaar in het familiehuis. Conform haar wens werd na haar overlijden op 1 juni 1923 de ‘Stichting Bisdom van Vliet’ in het leven geroepen. Deze had tot doel het karakter van het woonhuis met bijbehorende inboedel, zoals zij er had gewoond, in stand te houden. Het familiegraf van het geslacht Bisdom van Vliet bevindt zich in de noordelijke transeptarm van de Nederlandse Hervormde kerk. Paulina wilde, vanwege haar grote liefde voor de buitenplaats, bij haar echtgenoot op familiegrond worden begraven. Grafmonumenten in het park geven de plaats waar het echtpaar zijn laatste rustplaats vond.