与他逐渐疏远，不再与他亲近，于大人也无所谓，刚好娶了青竹马正是浓情蜜意时，后来又有别的小妾通房，妻子不愿与他亲近他又何必强求。但妻子对家事管理一向用心，对他的小妾们也不打压，所以他初一十五都会歇在妻子房里，虽然两人早已无交流，他愿意给她面子。
那是五月十五晚上，他歇在正院里，因为跟妻子为了长子的事情吵了几句，生气出来往书房去歇息。因晚上在外面与人吃过酒，身体有些燥就悄悄地往小妾林氏屋里去寻欢。没让他想到的是，林氏正与另一个男人纠缠得火热，被他捉奸在床，与林氏私通的正是林氏的陪嫁奶娘的儿子。林氏被抓到后一点也不惊慌，还让于大人也冷静，不要高声喧哗。随之林氏就说出了于大人这后院多年的秘密，说于大人的青梅竹马李氏与管家私通多年，两个通房的跟他早年身边的两个长随私通，他的正妻每月都要两次不定时出门去上香，谁知道她出去干什么呢？
林氏的一番话于大人当然不信，以为林氏是在是找借口为自己辨驳。而林氏说你不相信可以去让捉奸，现在就去捉奸。于大人半信半疑地被林氏拖着往李氏屋子去，而林氏还吩咐她的陪嫁婆子分别去住了两个通房的门，林氏因为来自商富，手里的钱财最多，当年陪嫁过来的人也最多。当于大人在李氏的房里真的捉到了管家，林氏的婆子们也抓住了两通房房里的长随。于大人当场就气得晕了过去，醒来他的妻子在他的身边，他把妻子也赶了出去，林氏也说过他妻子的事情，那三个都说准了的，这妻子的事不查也罢。他妻子这些年从李氏进门后就喜欢常出门上香，不论是在老家，在江南，还是在如今的樊安府都是如此。他赶妻子出去，妻子没有多说一句话就走。
当然，虽然妻妾们都背叛了于大人，于大人毕竟为官多年，并没有被打倒，他几天后病痛就完全康复。他开始处理这些事情，可一下子全部处理出去事情就大了，闹得人尽皆知可能官位都要丢掉。
他首先去质问他表妹，他自认为对得起表妹，希望她能给他一个合适的理由。表妹李氏反而质问他：“你说你娶正妻是为读书走好仕途，可你为何还要纳通房？又要娶林氏？那我的情意又算什么呢？你可以不纳我入门，入了门又完全不顾我的情意？既然你不要这份情意我又何必在乎你的？”
两通房的说话一样：当初我们本就属意你的长随，没有想攀你这根高枝，可你因为我们是你的丫头，你中了举就不顾我们的意愿就拉上床睡了我们，图一时快乐。然后每个月象征性来我们房里一次，你以为你的这份施舍，我们就愿意接受？
林氏则说：“我正值大好年华，你而垂垂老矣，精力不足还要分给我们这一院子五个女人。就如只一碗饭本还不够一人吃，而现在却要分食五人，哪个能吃饱？都快饿得要死，又何必在意有没有那碗饭呢？不如自寻些吃食。”
林氏话里的意思于大人很清楚，质问道：“一派胡言，女人不就本本分分的守在后院？自古以为不都是如此？”
“那是你们男人的想法，你们根本就不知道女人的想法，为什么女人要遵从你们男人那些所谓的礼仪廉耻？而男人就可三妻四妾?那是因为我们女人打不过你们男人？你以为有几个女人是心甘情愿的？”于大人觉得自己根本没法跟那几个女人交流，他先是卖了那两个通房提起来的姨娘，偷偷叫人打死了两个长随。管家是他家老奴，于大让没收了管家的财产，把管家打发到庄子去，他把李氏的儿子分家出去，让李氏与自己生的儿子一起生活。而林氏也是他头痛的，他这些年最宠爱她，于大人没有想到她说出那些大逆不道的话来。可儿子还没有成家，只能把林氏圈在院子理不让她出来，林氏被关起来后，没过几日就带着她的人一起离开了，儿子都没带。
于是家里就只有长子和幼子，妻子。
他处理小妾们的时候，也派人调查过妻子，他发现她没有如林氏所说的那样，她的确每月都出去两次，有时候见见朋友，有时候烧香，有时候就纯粹是在茶楼里消磨半日。不管怎么样，妻子可能对他有意见，却并没有把事情做绝，他心存感激，决定和妻子好好共渡余生。没有想到妻子主动提出与他和离，让他不可理解，二十年来他有妾时她没提，现在屋里只余她一人，她却要和离。于大人很生气的问她，为何定要如此？王氏只说她儿子已经长大，能独挡一面她可放心离去了。于大人儿子读书不行，前些年去了北方做生意，这几年做生意小有成就的。于大人只觉人生已过大半，只想留下妻子共度。可妻子王氏说，“当年我虽然有意你，并不知道你心属自己的表妹，如果知道是决不会嫁的，你在我生下长子时不管不顾的纳了表妹，可曾考虑过我？那时就我心便已死，只为儿子长大我等了二十年。如今你老了，折腾不动了，别人都不要的东西我为何要？”于大人真没有想到一向贤慧理事的妻子说出这种话。
于大人与妻子王氏和离不久，就听说有人门求娶，那人姓郑是一富商，也曾是王氏父亲的学生，读书时家境并不很好，比五氏还年轻几岁，读书时就喜欢老师的女