即邹忠介（元标）所办，今北平天主教南堂旧址，天启年间为阉党所毁。
大镇两女，长孟式，嫁山东布政使张秉文，济南城溃，同夫共殉。孟式博学工书善画。次维仪，嫁十七而寡，归母家守节，寿八十四。陈其年《妇人集》：“桐城姚夫人名维仪，无大师（原注：方简讨以智，法号无可）姑母也。酷精禅藻，其白描大士尤工。所著《清芬阁集》，文章宏瞻，亚于曹大家矣！”
大镇之子，即以智之父孔。妻名吴棣倩，或即以智之母。从维仪学诗，有《驮佩居遗稿》一卷，又与维仪共作《宫闺诗史》，分正邪二集。棣倩年未三十而逝，所育一女名子耀，亦即以智的大姊，由维仪抚育长大。
方子耀的丈夫名孙临，字武公，兵部侍郎孙晋之弟。当南都不守时，唐王聿键已自立于福州。杨文驰与唐王交好，而郑鸿逵又上章保荐，唐王因拜文驰为兵部右侍郎，兼右佥都御史，提督军务。杨文驰招孙临入幕府，师唐朝藩镇自辟僚佐的故事，奏荐孙临为职方主事。
明史二百七十七《杨文骢传》：
“明年（顺治三年）衢州告急，诚意侯刘孔昭亦驻处州，王令文驰与共援衢。七月，大清兵至，文驰不能御，至浦城为追骑所获，与监纪孙临俱不降，被戮。”
其时方子耀随夫在军中，清兵一至，全军大乱，遂至相失。方子耀投水为人所救，后归母家守节。
方中履之妻名张莹，兵部尚书张秉贞之女。秉贞之兄名秉彝，即张英之父。但秉贞、秉彝与秉文不会是兄弟，至少不是五服之内的兄弟，否则张莹与方以智行辈相同，不当为其子媳。
大铉官至户部主事，女即维则，朱竹所谓“方氏之节”之一。子名尔止，诗名甚著，画“四壬子图”，以陶靖节、杜子美、白乐天居上座，而己伛偻于前，示诗学瓣香所在。名“四壬子图”者，以陶、杜、白及尔止均生于壬子之故。相传尔止死后不久降乩坛作七绝一首，后两句为：“初到黄泉无所见，阎罗犹戴旧乌纱”，宛然遗民口吻，此虽拈手所作，而论者谓酷肖尔止诗格，则其人风致，亦可想见。
方以智孙辈甚多，中德三子，中通四子，中履一子，“正”字辈排行，下一字取玉字旁。有正珠者，字浦还，为中通次子，亦通数学。康熙三十一年南巡，正珠召对，问律吕之学，因进其父所著《数度衍》并自著《乘除新法》。《桐城耆旧传》云：正珠诸昆季，皆能敦行力学。而三房大钦次子仲嘉之后，最为昌盛，与本文无关，可以不必往下写了。