等李世民随李渊离开后，李元吉对李建成怫然道：“我不过是为兄长你着想，帮你除掉争夺储位的强大竞争对手。我这么干对我又有什么好处，一切都是为了你。”
李建成解释道：“父皇在场，四弟难道就不投鼠忌器吗？父皇已老，倘若因此受惊，我们兄弟俩可就犯了大罪。我看二弟始终紧跟在父皇身旁，显然是有所察觉，因此颇为警醒。他武艺不弱，倘若刺杀不成，父皇见到我们兄弟相残，必然怪罪于我们兄弟，到时废黜我太子之位，等于是把皇位拱手相让给二弟。我们万万不可鲁莽行事，除掉二弟必须要想一个万全之策，让父皇完全不会怪罪于我们兄弟，这样我们才能高枕无忧。”
一番话说得李元吉心服口服，道：“还是大哥想得周到。”
这些事情经过还是李世民安插在李元吉身边的亲信转述给李世民听的，铁纲靖听后，对李世民又是增加了几分佩服，原来他早已做了准备。既然在李元吉身边安插了亲信，那多半在李建成身边也安插了亲信。
后面发生的一件事情印证了铁纲靖的想法。
李建成暗中擅自招募了长安及四方骁勇之士两千余人为东宫卫士，分别屯在左、右长林，号称“长林兵”。又暗中派遣右虞侯率可达志前往幽州，让燕王李艺发幽州精骑三百，安置在东宫东面的各个坊市中，准备用他们来补充在东宫担任警卫的低级军官。结果被人告发，李渊重责了李建成，下令解散长林兵，把可达志流放到巂州。
这些已经表明李世民已开始对李建成伺机采取反击。只是这些事情铁纲靖并不知情，看来李世民还是非常了解铁纲靖，知道他并不擅长这类谋略。
铁纲靖也不怪李世民，他清楚自己几斤几两，勾心斗角这类事情，他身边的古人几乎都能把他摁在地上摩擦。
虽说李建成暗中蓄积骁勇之士受到重责，但李渊对他仍然颇为信任。在武德七年四月，进入初夏时节，李渊前往玉华山的仁智宫游玩，命李建成在长安居守，监理国政，李世民和李元吉则跟随李渊一起。当然随行的还有裴寂、封德彝等大臣，以及不少妃子，其中包括张婕妤、尹德妃等。
张、尹二妃正是当年在晋阳起兵之前主动献身给李渊的两位妃子，从那后傍上李渊实现了飞黄腾达。
至于李玄霸，自从窦建德被杀后，他和李渊是相互不待见，李渊甚至禁止他入宫，因此他并没有随行。
那李渊年近花甲，武德七年时已是五十八岁，在那个时代算是高龄。他自己精力也渐渐不济，时常离开长安四处游玩，放松心情，另一方面也是为了培养李建成的治国理政能力，让他做好接班准备。
可李渊正在仁智宫度假，忽然东宫的郎将尔朱焕、校尉桥公山来到仁智宫向李渊告变，称太子李建成勾结庆州都督杨文干，趁皇上不在京都之时，举兵起事，表里相应。
李渊一听，大惊，玉华山离长安三百余里，而庆州到长安不过两百多里，若太子果真与杨文干内外勾结，只怕他是回不了长安。