贞观二十三年（公元649年），李世民病重，弥留之际，他单独召见长孙无忌和中书令褚遂良两人受遗诏辅政，并对褚遂良说：“无忌尽忠于我。我有天下，多是此人之力。你辅政后，不要让谗毁之徒陷害无忌，否则，你就不是我李家忠臣。”
高宗李治即位后，当年亲舅推举之景犹然在目，自然心中怀有万分感谢之情，马上进拜长孙无忌为太尉，兼扬州都督，仍知尚书及二省事。长孙无忌也竭尽忠忱，数进良谏，高宗无不优纳。
高宗作太子时，入侍太宗，看见时为太宗才人的武媚娘，心旌摇盪。虽然也好色，李治毕竟和杨广不一样，老爹还没咽气就扑过去搂着父皇的爱妃求欢。太宗崩后，按规矩武才人应落髮为尼。高宗以上香为名，于寺庙见到武才人，两人泣下如雨（不知是睹佳人思亡父，还是大喜成悲）。当时高宗的王皇后没有孩子，萧淑妃有宠。王皇后听说此消息马上令武才人留起头髮，劝高宗纳武才人为后宫，目的想夺萧妃专宠。没料到的是，武氏巧慧异常，不久就大受高宗宠幸，获封为昭仪，王后、萧妃一齐被冷落，此时二人连手再想扳倒武昭仪，却是永不能够的事情。虽然王皇后失宠，毕竟结髮之妻，高宗并没有废后之意。不久武昭仪生下一个女儿，王皇后见了心中真的十分怜爱，抱在怀中逗弄，然后离开。武昭仪暗中潜入，活活掐死自己的亲生女儿，然后等高宗看视时大哭大闹，陷害说王皇后弄死了小公主（武后之毒，历代罕有）。高宗勃然大怒，立马起了废掉王后的心。由于皇后母仪天下，高宗自己还真做不了主，便首先从巴结自己的亲舅入手。
永徽五年（公元654年），高宗和武昭仪亲自临幸长孙无忌家，面见三个表兄弟（长孙无忌宠姬所生的三个小儿子），并当时就封三个小孩为朝散大夫。他还让宫廷画师为长孙无忌画像，御笔亲题画赞，称颂这位元舅的“定策之功。”临来时，又带十车金宝缯锦以赐这位老舅。笑语之间，高宗假装提起王皇后无子的话题，想要老舅接这个话茬，顺竿就讲起换皇后的事情。长孙无忌心知肚明，不为所动，绕过话头讲起别的事情，弄得皇帝和武昭仪很没趣，悻悻而去。武昭仪后来又让亲妈杨氏多次上门，假装和长孙无忌老婆拉家常，祈求太尉答应高宗废旧立新的要求，都被无忌驳回。礼部尚书许敬宗是个马屁精，多次劝说长孙无忌给皇上个面子，对这位下属，无忌“厉色折之”，痛斥不已。
无奈之下，高宗和武昭仪也撕破脸皮，诬称王皇后巫祝厌胜，召集长孙无忌、李绩、于志宁、褚遂良四人入内殿。入殿之前，褚遂良对长孙无忌和李世绩说：“今日圣上召见，肯定是立后之事，上意已决，逆之必死。太尉元舅，司空功臣，不能让皇上蒙受杀害元舅和功臣的污名。我褚遂良出身布衣，备位辅政，受太宗托之恩，当以死争之！”临行，李世绩比较世故，称自己有病没有去。到内殿后，高宗直截了当地说：“皇后无子，武昭仪有子，现在要立昭仪为皇后，怎么样？”褚遂良接过话：“皇后出身名门，是太宗皇帝为陛下所娶。先帝临崩，拉着我的手说：‘朕佳儿佳妇，今以付卿’。陛下您当时在场，言犹在耳。皇后没有过错，怎能轻废！”高宗一时语塞。转天，又把几人召至内殿，声色更加严厉，逼问同样的问题。
“陛下您果真想换皇后，可以从天下名族中仔细挑选。武氏曾侍奉先帝，天下所知。万代之后，后世对陛下会怎么评论呢！”褚遂良言毕叩头言罪：“为臣逆忤陛下，罪当死！”并解下官帽放下手中官笏，请求高宗把他放归田里。由于触及自己和老爸共用一妇的痛处，高宗大怒，命卫士把老头子拉出去。武昭仪也在廉中大叫：“何不扑杀这个乡巴佬！”站在一边的长孙无忌此时再也忍不住，喊道：“遂良受先帝顾命，有罪不可加刑。”同去的于志宁一直低头不语，大气不敢喘一口。过了几天，李世绩入见，高宗问李司空易后之事，老成世故的李世绩说：“此陛下家事，何必更问外人！”皇帝大喜。许敬宗趁机在上朝时对百官宣言：“田舍翁多收十斛麦，尚欲易妇；何况天子欲立皇后，关众人屁事而妄生异议！”
永徽六年冬十月，皇上下诏称王皇后、萧淑妃谋行鸩毒，废为庶人。并立武昭仪为皇后。自此，高宗与长孙无忌的舅甥之情全然消解，一丝全无，而且心中十分怨恨这位老舅的“非暴力不合作”态度。武皇后对长孙无忌更是恨之入骨，只是刚刚当上皇后，摸不准长孙家族的势力和底细，暂时也没有动他。长孙无忌从此在朝中也处于半退隐状态，重大朝议再也插不上手。
高宗显庆四年（公元659年），一直对长孙无忌怀恨在心的许敬宗借一起朋党案件，把长孙无忌牵扯进去，诬称他构陷忠臣，伺机谋反。高宗起初闻言还真吃了一惊，说：“果真如此吗！朕舅为小人挑拨，不至于谋反吧？”许敬宗一脸忠心耿耿：“为臣我推究始末，反状已露，陛下以此为疑，恐怕不是社稷之福。”高宗流泪说：“我家不幸，亲戚间屡有如此事发生，往年高阳公主与房遗爱谋反，现在元舅又干这事，使朕愧对天下人！如果事情属实，怎么处理？”许敬宗答道：“房遗爱辱臭未干，与一女子谋反，能成什么大事！长孙无忌与先帝一起谋取天下，为宰相三十年，天下畏其威名。如果