几次要清除秦王府的人都没有成功，李元吉是气急败坏，找太子李建成商量，说：“这种缓慢的清除工作耗时耗力还不一定成功，太费劲了，不如直接杀了李世民来得痛快！”
李建成道：“万万不可，四弟你行事就是太过毛躁，直接杀二弟容易激怒父皇。二弟于我朝有不世功绩，父皇又是极为重视亲情的人，到时若是他雷霆之怒砸下来，我们可不一定吃得消，莫说太子之位了，只怕皇子之位都不一定能保住。我们行事一定要稳重，切忌急躁。”
在李元吉眼里，李建成所谓的稳重行事不过是优柔寡断的借口，如此磨磨唧唧缺乏决断，他看着心里厌烦。
李建成手下的谋臣也产生了分歧，其中太子詹事裴矩是赞同李建成的做法的，他说道：“从这几次与秦王府的交锋来看，圣上是支持太子府的，只是苦于没有实证才导致失败。秦王功高震主，圣上希望太子继位后国家安定，必然是支持削减秦王府势力。以后我们只需要抓住证据和把柄，或者其他机会，在圣上的支持下，就能实现一步步瓦解秦王府。”
但是太子洗马魏征却不认同，道：“你们不了解秦王，他绝不是一个坐以待毙的人，任由人瓦解秦王府而不采取措施。一旦把他逼急了，他一定会采取绝地反击举措，到时必然是拼个鱼死网破，两败俱伤。齐王的建议更合理，应该直接杀了秦王，群龙无首的秦王府自然瓦解。”
李建成摇头道：“不可，我更了解父皇，他不愿意看到我们兄弟相残，我也不想让父皇在晚年品尝丧子之痛这种人间惨剧。你这一招过不了关，惹怒了父皇，到时受害的反而是太子府。”
他已经年近四十，自己的孩儿也有十五六岁，更能体会一个做父亲的心情。
魏征没有放弃，仍是力谏道：“从此前杨文干事件来看，圣上不仅耳根软，心也软。杀了秦王，即便被圣上发现，只需找圣上的身边人游说多半能平安无事。况且太子殿下和齐王殿下皆出自太穆皇后，圣上对太穆皇上所出的四个儿子向来是疼爱有加，那时秦王已死，他显然不会忍心再失去两位殿下。”
李建成仍就不同意，道：“杨文干事件基本可以断定是二弟在暗中操盘，当时父皇还允诺把太子之位传给二弟，幸亏我们应对及时，才没有让二弟得逞。我知道父皇是绝不会杀我们，但是他一旦生气，废黜本太子之位，那就偷鸡不着蚀把米，因此我是绝不会赞同直接除掉二弟。”
裴矩赞同道：“太子殿下说的极是，我想王珪若在身边也是赞同太子的做法，一步步削弱瓦解秦王府的势力是最稳妥、风险最低的法子。”
一旁的齐王李元吉气得直跺脚，道：“大哥，你以为二哥是吃素的？任由你宰割？你跟父皇一样，优柔寡断，不知道当断则断，将来吃亏的是我们。”
毕竟年纪大了十几岁，李建成对这个四弟颇为容忍，笑道：“四弟，你听大哥的，不可急躁，一切尽在我们掌握中。”
李元吉只能默认，毕竟他现在和将来都要仰李建成鼻息而活。
裴矩道：“要削弱秦王府的势力，首先最重要的是要清除房玄龄和杜如晦两大秦王的谋臣，这两人智略过人，尤为令人忌惮，只怕杨文干事件就是他俩策划的。”
李建成点头，道：“只是这两人老谋深算、行事稳重，很难抓住他们的把柄。”
李元吉道：“那就先拿秦王府司马刘树义下手，这人是二哥的左膀右臂，除掉他，秦王府实力大减。”