由此，独孤皇后已经下了废掉杨勇的决心，日夜不停在杨坚面前说杨勇坏话，杨素等大臣也推波助澜，加之杨勇在冬至于太子宫中张乐接受百官朝贺，犯了大忌，老皇上最终也决定废嫡。

　　公元600年，冬十月，杨坚派人召杨勇入殿。心力交瘁的太子闻命大惊，问使者：“不是要杀掉我吧？”进宫后，发现父皇戎服陈兵，百官肃立。杨坚开金口，废掉太子杨勇，押回 东宫看管。立晋王杨广为太子，并命杨广负责看押杨勇。

　　一番苦心，终未白废，杨广终于由晋王成为皇储。杨勇当庭被废，“泣下沾襟”，只言自己罪过，拜辞而去，竟无一言反讦二弟杨广，由此，可见杨勇仍是一个宽仁忠厚之人。反观李世民太子李承乾，被废后鱼死网破，死咬四弟李泰，最终两人同归于尽，才得懦弱的高宗李治成为皇太子。可以推论，假如杨勇继位，隋朝不至于二世而亡。

　　杨勇被囚于府内，也感冤屈，几次上书诉冤，杨广命人把书信全部销毁，不许上闻。杨勇爬到树顶大声叫屈，希望老皇上听见自己的声音，亲自讯问。杨广的心腹大臣杨素趁机上奏说杨勇得了神经病，胡喊乱叫，不能治愈。杨坚听信此议，就没有再给杨勇诉冤进见的机会。

　　602年八月，皇后独孤氏病逝。太子杨广进宫拜见父皇时哀恸气绝，装出万分悲痛的样子。回宫以后，他饮食欢笑，一如常日。为了表示思母过哀，饮食不思，杨广对外声称每天只吃两勺米，在灵前嚎哭跪伏，私下派人精制猪鱼肉脯，装在竹管里以蜡封口藏于袖中，瞧见没人就吃上几口这特制的“压缩干粮”，继续演戏。

　　独孤皇后死后，压抑一辈子的老皇帝终于有机会一畅其情，天天搂着宣华夫人陈氏和容华夫人蔡氏大搞天地一家春。老房子起火，没两年就淘虚了龙体，疾病大生。杨广作为皇太子入居大宝殿，杨素等大臣入内殿侍疾。

　　根据马总的《史通》记载，杨广不放心父亲弥留之际会发生什么变化，秘派人问杨素内宫父皇的病状。杨素把老皇帝的病情一五一十写明，封上信口回送杨广。送信的宫人转了几道手，误以为是送给皇帝的上奏，呈给杨坚。病危的杨坚见信后又恨又悔。忽见陈夫人进来时神色慌张，就问缘由。陈夫人回答：“太子无礼！”原来是陈美人出去更衣时，差点被杨广强奸。老皇帝闻言，一口气上不来差点气死，大叫：“畜生何足付大事！独孤皇后误我！”就召唤身边的大臣杨述、元严说：“呼我儿来见！”两人以为是召杨广，老皇帝忙说：“是杨勇！”杨素知道这事，马上告知杨广事急，又矫诏逮捕杨述和元严，命杨广心腹张衡入侍，禁止宫内一切人员出入。“俄而上崩。”更玄乎的是，《史通》载，“（杨素）令张衡入拉帝，血溅屏风，冤痛之声闻于外，崩……”此种记载，类似演义，极力铺陈老皇帝不是善终。

　　但是，唐朝魏征等人编纂的史书虽不是特别令后人信服，对于文帝的死亡记载应该多有可信之处：“（仁寿）四年春四月乙卯，上不豫。……秋七月乙未，日青无光，八日乃复。……甲辰，上以疾甚，卧于仁寿宫，与百僚辞诀，并握手歔欷。丁未，崩于大宝殿，时年六十四。“唐太宗特别注意自己和大唐皇家的历史形象，常常自己查看史书记述（哥们连自己的起居注都看），对于杨广这位表叔，自然要大加鞭挞，这样，才显得唐朝的得手应天顺人。既便如此，唐臣也记载老皇帝临死与百官辞诀，应该是善终，并非为太子杨广所弑。