只是没过多久，严氏说自己病重，要让赵氏侍候，却不想赵氏已怀胎近四月未察觉，严氏虽拿了赵家不少好处，骨子里却看不起商户，一直觉得自己儿子配赵氏有千般委屈，故而很是折腾了一番赵氏，这也是常有的事，却遇上赵氏有了身孕，一个不慎，赵氏累的晕倒，醒来才知自己流产，哭的死去活来，却又不敢埋怨严氏。

在娘家嫂子过来看望的时候才说出实情，赵氏一激动，把嫁入候府几年的委屈都跟娘家嫂子说了，她们回家一说，赵家人才知道，原来候府待自己的闺女并不好，却也悔之晚矣。

赵氏大哥赵齐性子急，当即便要去候府接回妹子，罗氏拦下了他，“你去接回兰姐儿，那你外甥女如何安置？那是李家的孙女，他们不放人，你敢硬抢吗？”赵齐这才作罢，只是心里恨极了李家人，而后李家人在赵家的铺子里买东西或吃酒，赵齐都要当场要帐。

有一回，候府三爷李温来醉月楼请友人相聚，便有一官家子弟笑说，“李三，听闻你们候府作得这醉月楼的主，是外间乱传还是确有其事？”

李温一向走鸡斗狗，吃喝玩乐，饮酒会妓最通，结交的朋友也是此类，他这几年因着和赵家成了亲家，银钱上宽裕不少，很是长了不少面子，这会儿更不肯失了面子，在他心里，赵家一介商户，自己候门贵府，就是送个女儿做妾，那也是便宜赵家，他们敢不帮着自己？所以便点头称是。

于是那官家子弟便同李温打了个赌，他以李温看上的香月楼妓女为赌注，而李温若输了，便把这醉月楼后院扶云包厢里挂的出自名家之手的游宴图给他，李温一口答应下来，一副破图，自己要，他赵家敢不给！

最后两人以骰子相博，李温没有赢，却是先可惜了一番美人，才在好友的催促下，直接找来掌柜，吩咐他把那副游宴图拿出来，自己要带走，掌柜早接了东家的话，凡是忠义候府的客来了，便同别的客一样招待就是，但也拿不准度，于是笑着称自己需要请示东家便赶紧报了赵齐，赵齐只让他不要搭理李温，哼，那幅游宴图，何等难得，那是酒楼的宝贝，多少贵人想买，都买不到的，他李家的人凭什么。

这厢李温被掌柜告知不能给他图，便发了火，差点没把掌柜的打死，那官家子弟众人皆在嘲笑他，李温回了府，马上就向严氏告状，严氏一听，把赵氏叫来，命她快去拿图来给李温，还要她们赵家赶紧上门赔礼道歉，赵氏怎愿娘家人受此侮辱，便没有同意，严氏就罚赵氏跪了一天一夜，赵家听闻消息要上门探望，严氏拒了。

就是这一跪，赵氏急急病倒了，没过几日，便香消玉殒，从此赵家便恨上了李家，却碍着李菱，没有撒破脸。

没过一年，李温同人在香月楼抢一女妓，失手将对方打成重伤，这人也是京城官宦子弟，且有些实权，便要告李温伤人，且写折子上奏，言忠义候管家不严，教子无方。

严氏把手中银钱投了大部分去打这官司，奈何候府早已日薄西山，权无钱无，眼看李温就要判了牢刑，忠义候爵位也快不保，严氏求到赵家，求赵家出钱疏通关系，替侯爷保住爵位，赵家未同意，只是第二日，李菱就生了大病，说是高烧不退，赵家急得如热锅上的蚂蚱，最终赵家二爷赵楠找了忠义候，同意出钱疏通，李菱高烧才褪去，赵家人才得以探望。

最后忠义候保住了爵位，李温也未判牢刑，却被判了五十大板，那五十大板打的他皮开肉绽，把李温打的几乎半死，严氏心疼的什么似的，怪赵家没有尽力，故意害她儿子，自此下令不准赵家上门，慢慢的，候府的人就忘了赵家和候府是亲家了，只有在见到五娘子李菱的时候，才觉起有这回事，这也是严氏最厌恶李菱的地方。