李林甫见他如同坐上直升飞机一般，心中自然恐慌，便和自己的心腹商量对策，给韦坚一个明升暗降。⊥，向玄宗提议，把韦坚升为刑部尚书，却夺去了他兼任的各路转运使、处置使等生财的职务。又把自己的亲信杨慎矜升为御史大夫，为下一步的大狱作准备。
杨慎矜本来是比韦坚还会替皇上生财的官员，韦坚所作所为还是效仿他的行为。但杨慎矜很识时务，皇上任命他当御史中丞，他却因这项任命不是李林甫推荐的，坚决不肯接受，他知道李林甫的潜规则：凡是不经他推荐而晋升的官绝不会有好下场。李林甫见他如此懂事，也很喜欢，便自己提议让他担任御史中丞，并让他监视韦坚的一举一动。
韦坚不是傻瓜，知道自己受了李林甫的害，却有苦说不出，总不会说人家给你升官反而是害你吧？但实际上就是这样。他也只能暗地里吐吐苦水罢了
天宝五年正月十五，韦坚和河西节度使皇甫惟明夜游，一起到景龙观一个道士的房里，恰好遇到太子李亨，三人便在房里叙叙旧，被随后监视的杨慎矜发现，报告给李林甫。李林甫大喜，认为等待已久的机会终于到了，便向玄宗报告：说韦坚是国戚的身份，不该和驻外的节度使勾结，这一定是密谋起兵拥戴太子夺取皇位。玄宗果然相信了他的话，把韦坚贬为缙云太守、皇甫惟明为播川太守，不久又派使者在四川杀死皇甫惟明，并抄没他的家产。韦坚和他的弟弟、儿子都贬到远方州郡。李林甫乘机又把自己的政敌李适之也打进这个案子中，也贬到了宜春。到十月份。李林甫又派自己的亲信监察御史罗希奭到这些人的流放地，一一把这些人杀死。韦坚不仅家破人亡。而且受他牵连的朝廷官员有十多人。太子李亨为了表明心迹，不得不上书玄宗，和妃子韦氏离婚。
李林甫大兴此狱就是想扳倒太子，玄宗也不是没受他的迷惑，但高力士却在玄宗跟前力保太子忠谨无二，李亨又离婚以明志，玄宗也就没生易储的年头。
李林甫一计不成，自然只好升二计了。李亨有个姓杜的良娣（低正妃一等），她父亲和女婿柳勣不合。柳勣是个阴险浮躁的人。他不知怎么知道了李林甫的心事，想借此事升官发财，便诬告他岳父要和太子谋反。李林甫把这位杜老头抓到皇家监狱里（诏狱）里，也不给他辩解的机会，就“赐死”了。倒霉的李亨只好再次忍痛割爱，把杜良娣休了（出良娣为庶人）。李林甫一不做二不休，把平素自己讨厌的官员名臣李邕和裴敦复等人一起株连到此案中杀掉，天下冤声一片。杜甫就写了一篇怀念李邕并为他鸣不平的诗。不过这第二计还是没有成功，由于有高力士在玄宗面前死保太子。太子的地位虽然摇晃了一阵，还是稳住了。
二计不成，自然还得生“三计”了。要说李林甫也真有“锲而不舍”的精神，可惜世上的事也不是“有志者事竟成”的。
不久。李林甫又让济南别驾魏林密告陇右、河西节度使王忠嗣：说自己在朔州刺史任上，王忠嗣任河东节度使，曾对自己说：他（王忠嗣）小时和忠王即太子一起在宫中长大。他要起兵辅佐太子夺取天下。玄宗并不糊涂，听说后马上反驳说。我儿子在深宫，怎会和外人勾通。这话一定是假的。虽如此说，还是宁可信有，把王忠嗣赐死，幸亏王的部将哥舒翰新得帝宠，在玄宗面前一步一叩头，痛哭流涕，愿以自己的性命为主将担保，并用自己的官爵为主将赎罪。玄宗这才只是把王贬官了事。