中国古代的政治家们尊崇一个传统——达则兼济天下，穷则独善其身。意思是说，领导重用他的时候，他就会胸怀天下事，先天下之忧而忧，后天下之乐而乐，轰轰烈烈地干一番大事业；领导不重用他的时候，他也不会自暴自弃，而是回归到书房之中，以书为乐，修身养性。说得书面化一些，这叫进可攻，退可守；说得文艺化一些，这叫上得朝廷，下得书房，实乃玩转官场之必备招数。老江湖长孙无忌就深谙此道，或许是感觉武则天当家后自己很难再被皇帝重用了，有些灰心丧志，想到书中去寻找慰藉，所以他整日躲在书房里著书立说，两耳不闻朝堂事，希望从此享受惬意的晚年生活。
然而，长孙无忌的这种梦想并没能实现，因为只要武则天和高宗不允许他置身事外，那么他就无法真正地远离政治。高宗的理想是要建立一个真正属于自己的帝国，不需要事事受人摆布，更不想看别人脸色行事，而权倾朝野，威震天下的国舅长孙无忌，无疑是他前进路上最大的一块绊脚石，必须除之。而对于武则天来说，一日不除掉长孙无忌，则一日无法真正坐稳后位，既然对方不愿做自己的朋友，非要做敌人，那就要置之死地，以免留下祸根。所以，铲除长孙无忌是武则天和高宗夫妻两共同的目标，是不谋而合的决定。不过，人家长孙无忌好歹是皇帝嫡亲的舅舅，又是百官之长，要想扳倒他，可不是件容易的事情，而且若没有十足的把握，也不好随便将屎盆子扣在人家头上。好在武则天不是个急躁的人，漫长的十八年她都等过来了，岂会在乎在这一时半刻的等待？为了一举击垮长孙无忌，武则天先拿他的追随者们开刀，剪除他的羽翼，使他孤立无援，因此褚遂良、韩瑗、来济才会相继被扫出中央。失去了几位老战友不说，长孙无忌的一干亲戚也难逃厄运，他的表弟太常卿高履行、堂兄工部尚书长孙祥等也被贬到了地方上。至此，长孙无忌成了孤家寡人一个，失了羽翼的他，想飞也飞不起来了，而武则天为他编织的那张网已经悄悄展开了。
显庆四年四月的一天，发生了一件大事——太子洗马韦季方和监察御史李巢下狱了。这是为何？原来一位名叫李奉节的洛阳人向高宗告状，说他发现韦季方和李巢攀附权贵，共结朋党。这本是件很平常的小案子，犯罪嫌疑人又只是中下级官员，没什么可震惊的，可它后续的发展却令全国都震惊了。因为经过许敬宗的“调查”，发现这不是一桩简单朋党案件，里面暗藏着一个惊天大阴谋，原因是韦季方和李巢结交的权贵不是别人，正是长孙无忌。所以，许敬宗得出的结论是韦季方、李巢、长孙无忌三人勾结在一起，企图控制整个朝廷，谋反之意昭然若揭。
此结论一出，举国震惊，一个权倾朝野，威震天下的宰相、皇帝的亲舅舅竟然会与两个五品文官联手谋反，这可真是为所未闻之事！那么，高宗会相信自己的舅舅谋反吗？别说他这个做侄子不相信了，恐怕任何一个人都不会相信，可是心里不相信是一回事，行动上却又是另一番做法。高宗不笨不傻，相反也很聪明，他自然猜得到这是武后的计谋，若是从前还未登基时，他肯定会为舅舅辩护，可如今那个曾经为自己遮风挡雨的舅舅已经变得陌生了，总是对他指手画脚，外廷的那帮老臣们也以舅舅马首是瞻，似乎比他这个皇帝的权力还要大。所以，即便心里有些舍不得，但为了能够真正地“独立”，高宗也只好顺水推舟。据《资治通鉴》中记载，在听完许敬宗的汇报后，高宗只说了这样一句话：“舅为小人所间，小生疑阻则有之，何至于反？”这话说得十分有意思，看上去高宗并未对长孙无忌谋反一事有任何质疑，也没想去深究长孙无忌为何要与几个五品文官勾结，他连眼睛也不眨就为长孙无忌定了罪，说舅舅听信小人挑拨，心里或许会对我存有几分猜疑，可是怎么跑去谋反呢？注意，这句话虽然用的是问号结尾，可一点质疑的意思也没有，显然他的潜台词是在告诉许敬宗：朕相信你的报告，国舅他确实谋反了，不过你还得拿出更有利的证据，才能让天下人信服。
许敬宗是个多么聪明的人啊，皇帝的意思他一听就明白了，立马说，陛下，臣已经彻查了此案，韦季方看到事迹败露，只好畏罪自杀了，可见他们确实有谋反之意，您怎能不相信呢，这的的确确就是谋反啊！高宗听后，长叹了一声，不禁泪眼婆娑道，我真是家门不幸啊，怎么老发生亲戚谋反的事儿呢，以前高阳公主就干过这事，如今又轮到了舅舅。倘若这事是真的话，该怎么处理才好呢？就这样，长孙无忌的罪名被确定了下来，接下来便是要讨论如何处罚他了。
在这里，高宗提到了高阳公主谋反案，由此先例在前，处理起长孙无忌一案就有依据可凭了。当年，轰动一时的高阳公主谋反案的处理者正是长孙无忌，此案牵连甚广，为了帮李治稳定政局，长孙无忌便乘机除掉了李治的劲敌吴王李恪。虽然他这样做是一片好心，可却隐隐露出了震主之威，眼见那些权贵们轻而易举就被长孙无忌杀掉，生性仁厚的李治心里是哇凉哇凉地，莫怪他会对长孙无忌产生恐惧心理，非要除了他。而世事难料，谁能想到数十年后的今天，高阳公主谋反案竟然会成为处理长孙无忌谋反案的先例，简直活生生的“请君入瓮”嘛，不知当时长孙无忌的心里是啥感想。
这皇帝说的话叫“金口玉言”，并且“君无戏言”，所以许敬宗一听高宗提起了高阳公主案就知道这一定不是废话，肯定是有用意的。然而，许敬宗聪明一世却糊涂一时，没能立刻领悟高宗的深意，只是说要在当年高阳公主谋反的基础上，对长孙无忌一案加重处理。高宗自然是没有同意他的意见，而是拐弯抹角地说，这事急不得，你回去再仔细审审看。于是，许敬宗只好带着一肚子疑问回了家，仔细想了一夜，终于明白了高宗的用意。
翌日下朝后，许敬宗对高宗说，陛下，臣昨个儿回去又仔细审理这此案，又有重大发现。原本以为只牵涉到长孙无忌一人，可如今才知并非如此。我昨晚提审了韦季方，问他，长孙无忌权倾朝野，又贵为国舅，深受陛下和先帝的信任，他何至于要谋反？韦季方说，其实长孙无忌原本也不想谋反的，但韩瑗在一旁挑唆，他曾对长孙无忌说，您之前曾和柳奭、褚遂良一起拥立李忠为太子，如今李忠已被废，说明陛下已经不再信任您了，与其坐以待毙，还不如及早为自己做好打算！长孙无忌禁不住韩瑗的劝说，终于答应加入谋反。韩瑗、褚遂良、来济、柳奭、于志宁都是这起谋反行动的策划人。因此，这件事绝不是长孙无忌一人所为，朝中所有的元老重臣几乎都同党。
见这桩案子的油水被捞地差不多了，高宗也不再废话了，又一次泪眼婆娑道，就算舅舅他真的想造反，朕也绝不能杀掉他，他可是朕的亲舅舅啊，若杀了他，天下人怎么看我啊，后世子孙又会如何看待我？这话一说，等于是将之前的那个疑问号彻底变成了句号，完全相信长孙无忌谋反了。可是，他又不能下手太狠，毕竟那是自己的亲舅舅，为了彰显他的仁慈，故意做出一番法外开恩的样子，免了长孙无忌的死罪。罪定了，表演也做足了，终于可以堵住天下悠悠之口了。于是，几天后，高宗下诏削去了长孙无忌的太尉头衔和封地，给了他一个扬州都督的头衔，然后押解到黔州（今重庆彭水县）安置。那里远离京城长安，是处穷乡僻壤之地，可是高宗并没有特别亏待长孙无忌，依旧按照一品大臣的待遇提供饮食，他的解释是，长孙无忌虽然有罪，可他毕竟是朕的舅舅，朕怎么忍心看他吃不饱，穿不暖呢？这话实在有些猫哭耗子假慈悲的味道，没罪的都被定成有罪的了，还说什么“不忍心”？可是，这也不能完全怪他，做皇帝的也是有做皇帝的无奈的。
就这样，曾经叱咤风云，威震天下，权倾朝野的国舅爷长孙无忌，在高宗和武则天夫妇两的联手打击下，终于垮台了。真是三十年河东，三十年河西啊！