而李世民则反对，他认为当初起兵就是为了取天下，应当直入关中，号令天下，今天遇上一小敌就回师，追随我们的大臣和将士就会离开我们，更何况退回太原只不过是占有一城罢了，我们就成了盗贼，迟早会被人一锅端了。李建成表示赞成这一观点。
李渊最后还是采纳了裴寂的主张，经历那么多，他早已变得老成持重。离关中还有很远的路，不知还要多少危难，前方不远就是讨厌的宋老生。打下长安最好！问题是打不下来呢？长安要是打不下来，太原又没了，那真的要上山打游击了！或许李世民说的是对的，可李渊不想冒这个险。
所以他当天就命李建成率领他的左军回救太原。李世民得知左军撤回太原，非常惊讶！他连夜去到李渊的营帐想说服李渊。此时已是半夜，李渊睡了。帐外的将士又不让李世民进去。
李世民很无奈，只好蹲在帐外哭，李世民也哭越伤心，越伤心哭的就越大声，恨不得把全军营的人都吵醒陪他一起数星星。李渊就这么活活被吵醒了：“谁吃饱撑着啦？三更半夜不睡觉，跑来这里哭。”
“是二公子！”“喔，请他进来吧！”“没事你哭什么啊！”“现今我们为救黎民百姓而起兵，前进则战必克，而退后，众人就会离我们而去。前面是逃离的将士，后面是强敌，我们被杀是分分钟的事啊！所以我才哭的那么伤悲。”
李渊是个老谋深算的主，他很清楚自己现在的处境。只不过他想先稳固后方再考虑进军，毕竟家里上上下下还有几十口喘气的，一家只都捏在自己手里。
可今晚李世民的话让李渊明白走上这条路就无法回头，只能勇往直前，不成功便成仁，没有第三条路！
李渊同意了李世民主张。命令军队向霍邑开进。可李建成的左军已经走了，现在就只有李世民的右军，一支军队是不可能打下霍邑成的。于是李世民连夜追赶李建成，让他回师。由于超速驾驶，加上夜黑风高，路况不明，李世民在路上出了交通事故，摔落马下。
没有办法，李世民只好擦擦屁股爬起来，这时马也不知道跑到那里去。李世民就靠两条腿一路走，终于找到李建成和他的左军霍邑之战上天似乎并没有大算抛弃李渊，八月三日，雨终于停了，而后方的粮草也随之到达。李渊军进抵霍邑城下。
李渊主动约架，可宋老生不是傻子。放着好好的城池不守，和你在荒山野岭乱砍？
我老年痴呆啊！李渊见宋老生不肯和自己打，也没办法。城是不能攻的，就那么点家当。要是打完了怎么办？那就等吧！我就不信你会呆在城里一辈子。
可是李渊不能等,三万大军是要吃饭的，在霍邑城下多呆一天就得浪费很多粮食，再说李渊要直取长安靠的就是兵贵神速，要是隋朝各郡大军赶来长安勤王，那还不把李渊这三个师给揍个死吖的。
更为重要的是各地反军很多就在不远，比如朔方的梁师都、马邑的刘武周、瓦岗的李密，都离自己不远。其中就以李密最不厚道，前些日子，当李渊还在饿肚子、淋雨的时候，李密遣使送来书信要李渊加盟。所谓加盟说难听点就是归顺，要李渊听他的话。