590年，即灭陈的第二年，下诏以晋王杨广为扬州总管，镇江都。大概也正是此刻，杨广迷恋上了这处江南水乡，最后死也死在此地。
杨坚与皇后独孤氏有五个儿子，即太子杨勇、晋王杨广、秦王杨俊、蜀王杨秀、汉王杨谅，几个人确实是同父同母的“真兄弟”。杨坚管教儿子也很严，秦王杨俊好佛喜色，在并州总管任上奢侈违制，被杨坚召回免官。大臣们认为处罚过重，杨坚回答：“我不仅是五儿之父，也是兆民之父。如果按你们意思，干嘛不为皇帝儿子特定一部法律呢？”坚持对杨俊的处罚。
隋文帝皇后独孤氏十四岁就嫁给杨坚，发誓生死同一，杨坚也发誓不与别的女人生孩子。独孤皇后本性俭约，不好华丽。又好读书，识达古今，言事论人都和隋文帝想得一样，宫中称为二圣。她为人又非常仁爱，每次听说大理寺斩决犯人都为之流泪。但此人有一个毛病，就是天性奇妒。叛臣尉迟迥有个孙女非常美貌，杨坚于仁寿宫偷偷临幸。独孤氏趁皇帝上朝，派人杀掉这个美貌女孩。杨坚又悲又怒，单骑从御花园中抢出，直入荒山三十多里。两个大臣追上，拦马苦谏。杨坚嘆息：“我贵为天子，不得自由！”驻马良久，半夜才回宫。可以说隋文帝是中国历史上级别最高、最出名的怕老婆汉子。独孤氏不仅对丈夫防护甚严，对儿子也要求他们学她和杨坚一样从一而终。她为杨勇挑选的妃子元氏很受杨勇冷落，多年不得召见，突发心臟病而死。杨勇宠爱云妃、高妃和成妃等人，并和这几个妇人生下一大堆孩子，独孤皇后非常生气，不断派人伺察自己这个儿子，访探他的举动，还不断在文帝耳边吹风，指摘杨勇的过失。太子杨勇虽然有些好色、奢侈，但为人宽厚，率意任情，没有矫饰假装的性格，常常优礼士人，宽接大臣。
晋王杨广一直觊觎太子宝位。得知父皇、母后对杨勇猜阻之意已生，更加矫饰伪装，平日只和正妻萧妃住在一起，后庭有宫人怀孕都把胎儿打掉不令外人知晓，独孤皇后因此十分喜爱杨广的“忠贞不二”。其实这位晋王绝对是个好色坯子，攻灭隋国后，他马上想把陈叔宝妃子张丽华弄到手，其手下大臣高颍先入建康，不仅没有按他意思把美人送上，还说“从前姜太公蒙面斩妲已，今天怎能留下张丽华这个祸水。”下令斩美人于青溪。杨广由此十分仇恨高颍，继位后不久就藉故杀了这位功臣。但当晋王时的杨广十分谦虚自抑，史载：“晋王（杨）广美姿仪，性敏慧，沉深严重；好学，善属文，敬接朝士，礼极卑屈；由是声名籍甚，冠于诸王。”依此，青年时代的杨广真是一个有华有实的美男子。一次与军队观猎遇上大雨，左右进上雨衣，杨广说：“士兵们都淋得透湿，干吗我自己一个人要穿雨衣呢。”命左右拿走，仍冒大雨立马观览，将士们感动得一塌糊涂。文帝有一次去他家里观瞧，早有准备的杨广随文皇四处查看，只见殿内乐器灰尘满布，绞弦断绝，一看就知多久不用，老皇帝就认定三儿子不好声jì歌舞，是“又红又专”的好苗子，和那位连铠甲都以金玉装饰的太子杨勇形成鲜明对比。
杨广暗中派遣和他关係亲密的大臣宇文述、杨素等人在杨坚夫妇面前百般构毁太子杨勇。太子本性直率，不知矫饰，容易发怒，形于言表，隋文帝渐有废杨勇之意。杨广当上杨州总管后，借入朝还镇的机会与母后独孤氏道别，装出十分依依不舍、万分可怜的样子，伏地流泪不止。独孤后也泣然涕下。杨广趁此机会大倒“苦水”：“儿臣非常看重兄弟情谊，不知哪里得罪太子，一直想杀掉我。每想到我自己不知哪天被毒死害死，真是恐惧得不得了。”独孤后闻言大怒：“杨勇太过分，我给他娶的元妃他一点也不爱念，专宠云妃，还下毒毒死元妃（其实是心臟病发而亡）。我现在活着他还这样对待你，哪天我死了我不知怎样害你们兄弟呢。等你父皇驾崩以后，想到你们兄弟得向那个云妃小妖精拜跪称臣，为娘我真是心如刀绞！”杨广闻言再拜，呜咽不止。独孤后也抱持着儿子大哭。由此，独孤皇后已经下了废掉杨勇的决心，日夜不停在杨坚面前说杨勇坏话，老皇上最终也下定决心。
公元600年，冬十月，杨坚派人召杨勇入殿。心力交瘁的太子闻命大惊，问使者：“不是要杀掉我吧？”进宫后，发现父皇戎服陈兵，百官肃立，杨坚开金口，废掉太子杨勇，押回东宫看管。立晋王杨广为太子，并命杨广负责看押杨勇。一番苦心，终未白废，杨广终于由晋王成为皇储。
杨勇被囚于府内，常常上书诉冤，杨广命人把书信全部销毁，不许上闻。杨勇爬到树顶大声叫屈，希望老皇上听见能亲自讯问。杨广的心腹大臣杨素趁机上奏说杨勇得了神经病，不能治癒。杨坚听信此议，就没有再给杨勇诉冤进见的机会。
602年八月，皇后独孤氏病逝。太子杨广进宫拜见父皇时哀恸气绝，装出万分悲痛的样子。回宫以后，他饮食欢笑，一如常日。为了表示思母过哀，饮食不思，杨广对外声称每天只吃两勺米，在灵前嚎哭跪伏，私下派人精製猪鱼肉脯，装在竹管里以蜡封口藏于袖中，瞧见没人就吃上几口这特製的“压缩干粮”，继续演戏。
独孤皇后死后，压抑一辈子的老皇帝终于有机会一畅其情，天天搂着宣华夫人陈氏和容华夫人蔡氏大搞天地一家春。