晋王的个人生活也十分检饬。他的节俭在诸王之间是出名的。人们来到晋王府，见不到古物珍玩，见不到鲜姬美妾，上上下下衣着都很朴素。因为无暇留心丝竹，王府里的乐器上都蒙了一层厚厚的灰尘。
史书记载：皇上及皇后每次派遣太监宫女们到杨广府中办事，无论地位高低，杨广必与萧妃在门口迎接，“为设美馔，申以厚礼；婢仆往来者，无不称其仁孝”。（《资治通鉴》卷一百七十九）这种连今天每个科级小官僚们都精通的政治技巧，杨广夫妇当然会滴水不漏。他虽然远在江南，却借不多的进京机会，用人际能力和金钱在朝臣中构筑了牢固而秘密的人际关系网。通过这个网络，他在南方所收到的称颂声传达到杨坚耳朵里时被放大了数倍。在帝国政治高层，越来越多的人开始认为，像杨广这样条件出色的皇子历史少见。如果是这个皇子接杨坚的班，大隋天下会更有保障。
而在南方不断传来对杨广的赞颂之声的同时，杨坚与杨勇的父子关系却形成了恶性循环。因为感觉到自己的失宠，杨勇情急之下，错招频出。他不断派人去打探父亲的消息，窥测父亲的行止，然而由于行事不谨，探子居然被隋文帝抓住，文帝气愤地说：“朕在仁寿宫居住，与东宫相隔甚远，然而我身边发生纤芥小事，东宫必知，疾于驿马，我怪之甚久，今天才知道是怎么回事！”由于提防太子篡位，皇帝增加了数倍警卫，晚上睡觉怕不安全，居然从后殿移到了前殿。事情发展到这个程度，许多大臣都预感到，杨勇确实没有什么希望了。
得知这个消息，杨广知道自己的机会来了。他找了个借口，进京面圣，和母亲独孤氏进行了一次密谈。在密谈中，他说，长兄杨勇不知何故，近来频频挑他的错，甚至屡次扬言要除掉他。前一段，晋王府潜进一个刺客，刚刚跳入王府就被抓住了，虽然百般拷打也不吐口，但是他猜测可能是太子派来的。
杨广知道他的这番话会起什么作用。独孤后当晚就把杨广的话告诉了杨坚，并且指出，杨勇与云氏野合所生的孩子很有可能不是杨家的骨血。如果杨勇继了位，杨家的基业最后就要传给这个不明不白的孩子……
杨坚是中国历史上少有的怕老婆的皇帝，皇后的“枕头风”对帝国政治来讲，常常是一场台风。
五
在野史传说中，还有另一个广为流传的故事。它被创作出来主要是为了表现杨广的心机深刻，同时又冷漠无情。《资治通鉴》记载，在被立为太子之后的第三年，皇后独孤氏驾崩。太子杨广在皇帝及宫人面前悲痛欲绝，好像活不下去的样子。背地里却饮食言笑如常。每天他表面上只吃素米，实际上却偷偷命人取鲜肉肥鱼放在竹筒中，以蜡封口，裹在衣服里送进来。
确实，为了皇位，杨广是老谋深算的。一定程度上的“矫饰”，是政治家必备的素质之一。然而，“母死不悲”的传闻无论如何都不合常理。从现存资料及传世诗文看，杨广是一个非常重感情的人。他在文字中表现出的对朋友对亲人的缱绻情深，相当动人。更何况，他又是独孤后最喜欢的孩子，母子感情非常融洽，从未有失和的记载。杨广之被立为太子，独孤后的“枕头风”起的作用是相当关键的。杨坚晚年，猜忌心日益朝**的方向发展。在如履薄冰的太子位上，母后是比父皇还要坚固的保护伞。以人子之常理推之，杨广此时不可能不哀痛于心，从小锦衣玉食的他何至于在此时突然馋起大鱼大肉来？