在李世民天策府众人中，他也受到了众人的信任和尊重
长孙皇后曾亲口对长孙无忌说过，不让他拥有太高的官职和太大的权力，但长孙皇后说得很委婉：
就是她贵为皇后，如果长孙无忌再位高权重，那很可能会引起世人的怀疑，毕竟外戚掌权是一个大忌
但其实，长孙皇后真正的本意并不是怕长孙无忌造反或者谋权篡位
就凭长孙无忌的能耐，他也不可能谋权篡位，但长孙无忌的权力欲极强，如果他掌握了朝中大权，他就会剪除异己、为所欲为，那对他、对长孙家都不是好事
长孙皇后眼光很准，她在贞观十年去世之后，李世民让长孙无忌做了宰相，结果长孙无忌大权在握，施展阴谋诡计，一杀再杀，把李渊、李世民的儿子、女儿、女婿杀得元气大伤，李世民十四个儿子中，三个夭折，有九个因谋反被杀，最后只有两个善终，一个是唐高宗李治、一个是李福
这九个因谋反被杀的，大多都是因为他们看不惯长孙无忌权倾朝野，和长孙无忌作对，长孙无忌施展阴谋诡计，以谋反罪杀了他们
这导致后来武则天改国号大周做皇帝时，李氏皇族居然无人站出来阻止
虽然长孙无忌对李世民降他的官职非常恼怒、伤心、沮丧、失望，但他更知道，只要能得到李世民的信任，官职高低并不重要，如果让李世民对他起了反感，那他即使官职再高也白搭
因此对李世民说把他的官职降一级，他很欣然地接受了
李世民命人通知魏征，不必再搜了，事情他已经处理了
此时魏征已经搜出了好几个被打得奄奄一息的女子，他命人抬着那些女子来见李世民
李世民看了看那些女子，交代长孙无忌要善待这些女子，好好给她们疗伤
魏征瞪着眼站在那儿不说话，李世民就对魏征说：
“魏爱卿，刚才辅机告诉我，他剥夺了冲儿嫡长子的身份，我也把辅机的左武侯大将军之职降了一级”
因为唐朝律法规定，权贵之家打死家奴，禀报官府的，只需要给死者家属赔偿一定的钱就可以了
如果不禀报官府，要被杖一百
而所谓杖一百，如果特别有权有势、能打通刑部以及各级官府的人，杖一百，基本上连皮毛都不会伤
像长孙冲，打死了人，不说杖一百，即使杖一千也无所谓，因为那杖很可能就没有落到他的身上
但长孙无忌剥夺了他的嫡长子身份，那长孙冲的损失就大了：
嫡长子将来可是能继承爵位和家业的，被剥夺了嫡长子身份，那几乎和杀了他差不多，这惩罚已经很严厉了
但魏征却不依不饶：
“陛下，按照大唐律法，打死了家奴是要赔钱的，现在长孙公子打死了五名家奴，这五名也奄奄一息，这些长孙公子必须都赔钱”
李元景听了，真为封