张承业听说李存勖有心思称帝，顾不得身体有病，让人抬着到了魏州，觐见李存勖说：“大王世世代代效忠唐室，解救了唐朝的不少患难，所以老奴三十多年来为大王收集财赋，招兵买马，誓死消灭叛逆之人，以恢复唐朝的宗庙社稷。
现在黄河以北刚刚安定，朱氏犹在，大王就急急忙忙要登基称帝，这可和您当初奋力作战的意思大不一样啊，这样天下的人心怎么能不离散呢？
大王何不先灭朱氏，报了先王的深仇，然后寻到唐室的后人拥立为帝，向南剿灭吴国，向西夺取蜀国，横扫天下，合为一家，到那时，即使高祖、太宗起死回生，又有谁敢位于您的上面呢？谦让的时间越长，所得到的就越牢固。
老奴没有别的想法，只是因为接受了先王的大恩，愿为大王创建万年大业的基础。”
张承业说这番话，为李存勖建立万年基业是假，拖延时间是真，在他内心深处其实还是忠于已被朱温灭掉的唐朝，不愿意李存勖称帝，如果李存勖当真成了皇帝，他就无法洗清自己了，到时候别人就会认为他兢兢业业工作是为了辅佐李克用和李存勖称帝。
李存勖不高兴地说：“这并不是我的愿望，只是对左右大臣的意见无可奈何。”
张承业知道无法阻止，哭着说：“诸侯们浴血奋战，本来是为了恢复唐朝大业，现在大王自己要取得帝位，真是误了老奴啊！”
然后把自己的封地还给李存勖，失魂落魄般地回到晋阳，不久忧郁成疾，撒手人寰。享年七十七岁。
回顾张承业的一生，他辅佐过李克用，在李克用病重之时，又受命辅助幼主李存勖，然后力挽狂澜，出奇制胜。制止了叛乱，保住了李存勖的地位，
成为河东的首功之臣。李存勖对他也是感激万分，异常尊敬，称他为“七哥”，经常到他的府上登门拜访，并将他的母亲迎出来跪拜。
张承业虽然备受尊敬，但他对权力富贵却看得很轻，有人提议给他加官晋爵。他都一一拒绝。他一直感激李克用对他的救命之恩，所以竭尽全力辅佐李存勖。
李存勖得到魏博之后，将大本营移到了河北，跟梁军在黄河两岸展开了长达十年的艰苦争夺。
在这期间，李存勖将太原的一切军政事务都交给了张承业。
张承业勤勤恳恳、鞠躬尽瘁、招抚流民生产务农，征兵买马支援前线，准备粮草充实军用，将后方治理得井井有条。让李存勖能够没有后顾之忧，专心作战。
最后他之所以能出奇兵灭掉梁朝。张承业起了极其重要的作用。因此史书上才说“成是霸业者，承业之忠力也。”
因为太原是王公大臣的聚积之地，所以难免有人常向他提出一些不合理的要求，但张承业铁面无私，都一概予以回绝，他不仅敢于拒绝大臣。就连对少主李存勖也敢于说不。在李存勖回来看望母亲的时候，由于赏赐伶人、赌博作乐都需要钱，但张承业比较抠门，给的很少。