；皇帝与皇后都对您非常钟爱，四海之内的声望，实际上已为大王所有。但是太子的废立是国家大事，而我处在你们父子骨肉之间，实在不好谋划。然而能使皇帝改变主意的人只有杨素，能与杨素商量筹划的人只有他弟弟杨约。我很了解杨约，请您派我去京师，与杨约相见，一起筹划这件事。”杨广非常高兴，送给宇文述许多金宝，资助他入关进京。
约时为大理少卿，素凡有所为，皆先筹于约而后行之。述请约，盛陈器玩，与之酣畅，因而共博，每阳不胜，所赍金宝尽输之约。约所得既多，稍以谢述，述因曰：“此晋王之赐，令述与公为欢乐耳。”约大惊曰：“何为尔？”述因通广意，说之曰：“夫守正履道，固人臣之常致；反经合义，亦达者之令图。自古贤人君子，莫不与时消息以避祸患。公之兄弟，功名盖世，当途用事有年矣，朝臣为足下家所屈辱者，可胜数哉！又，储后以所欲不行，每切齿于执政；公虽自结于人主，而欲危公者固亦多矣！主上一旦弃群臣，公亦何以取庇！今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必永铭骨髓，斯则去累卵之危，成太山之安也。”约然之，因以白素。素闻之，大喜，抚掌曰：“吾之智思殊不及此，赖汝启予。”约知其计行，复谓素曰：“今皇后之言，上无不用，宜因机会早自结托，则长保荣禄，传祚子孙。兄若迟疑，一旦有变，令太子用事，恐祸至无日矣！”素从之。
杨约当时是大理少卿，杨素凡是要做什么事，都先和杨约商量后再做。宇文述邀请杨约，陈设了许多玩物器皿，和他一起畅饮，一起赌博。每次宇文述都装作下输了，把杨广所送的金宝都输给了杨约。杨约得到很多金宝，就向宇文述略表谢意。宇文述就说：“这些金宝是晋王杨广的赏赐，让我与你一起玩乐的。”杨约大吃一惊，说：“为什么？”宇文述就转达了杨广的意思，劝说杨约：“恪守常规固然是人臣的本份，但是违反常规以符合道义，也是明智之人的期望。自古的贤人君子，没有不关注世情以避免祸患的。你们兄弟功名盖世，执掌大权有多年了，朝臣中被您家侮辱的人数得清吗？还有，皇太子往往想做的事而不能做到，常常切齿痛恨当政的大臣；您虽然主动地结好于皇上，但是要危害您的人本来就很多啊！皇上一旦弃群臣而去，您又靠谁来庇护呢？现在皇太子不为皇后所喜爱，皇上平素就有废黜皇太子的意思，这您是知道的。现在要是请皇上立晋王杨广为太子，那就全凭您哥哥的嘴了。要是真能在这时建立大功，晋王必定永远将这事铭记心中，这样您就可以去掉累卵之危，而地位象泰山一样的安全稳固了。”杨约深以为然，就将此话告诉了杨素。杨素听了，非常高兴，拍着手说：“我的智慧思虑远远达不到这儿，全仗你启发了我。”杨约知道他的计策成功了，又对杨素说：“现在皇后的建议，皇帝无不采纳。应当趁机会早早自动结交依靠皇后，就会长久地保住荣华富贵，并传给子孙后代。兄长若是迟疑，一旦情况发生变化，太子执掌朝政，恐怕灾祸很快就要临头了！”杨素听从了杨约的话。
后数日，素入侍宴，微称“晋王孝悌恭俭，有类至尊。”用此揣后意。后泣曰：“公言是也！吾儿大孝爱，每闻至尊及我遣内使到，必迎于境首；言及违离，未尝不泣。又其新妇亦大可怜，我使婢去，常与之同寝共食。岂若地伐与阿云对坐，终日酣宴，昵近小人，疑阻骨肉！我所以益怜阿者，常恐其潜杀之。”素既知后意，因盛言太子不才。后遂遗素金，使赞上废立。
过了几天，杨素进入皇宫侍奉宴会，他婉转地说：“晋王杨广孝悌恭俭，象他父亲一样。”用此话来揣摩独孤皇后的意思。独孤皇后流着泪说：“您的话说得对！我儿子阿非常孝敬友爱，每次听到皇上和我派宫内的使者去，必定亲自远迎；说到远离双亲，没有一次不落泪的。还有他的妻子也很令人怜爱，我派婢女去她那里，她常与婢女同寝共食，哪象地伐和阿云面对面地对坐崐，整天沉溺于酒宴，亲近小人，猜疑防备骨肉至亲！所以我愈加爱怜阿，常常怕地伐将他暗害。”杨素已经了解了皇后的意思，因此就竭力地说太子杨勇不成器，于是皇后就给杨素财物，让他辅佐文帝进行废立太子之事。
勇颇知其谋，忧惧，计无所出，使新丰人王辅贤造诸厌胜；又于后园作庶人村，室屋卑陋，勇时于中寝息，布衣草褥，冀以当之。上知勇不自安，在仁寿宫，使杨素观勇所为。素至东宫，偃息未入，勇束带待之，素故久不进以激怒勇；勇街之，形于言色。素还言：“勇怨望，恐有他变，愿深防察！”上闻素谮毁，甚疑之。后又遣人伺觇东宫，纤介事皆闻奏，因加诬饰以成其罪。
杨勇非常清楚这个阴谋，感到忧虑恐惧，但是想不出办法来。他让新丰人王辅贤制做了巫术诅咒之物，又在其府邸后园建造了一个平民村，村里的房屋低矮简陋，杨勇时常在其中睡觉休息，他身穿布衣，铺着草褥子，希望以此来避灾。文帝知道杨勇为此不安，在仁寿宫派杨素去观察杨勇的行为。杨素到了东宫，停住不进，杨勇换好衣服等待杨素进来，杨素故意很久不进门，以此激怒杨勇；杨勇怀恨杨素，并在言行上表现出来。杨素回去报告：“杨勇怨恨，恐怕会发生变故。希望陛下多多防备观察。”文帝听了杨素的谗言和诋毁之词，对杨勇更加猜疑了。独孤皇后又派人暗中探察东宫，细碎琐事都上报给文帝，依据诬陷之词而构成杨勇的罪状。
上遂疏忌勇，乃于玄武门达至德门量置候人，以伺动静，皆随事奏闻。又，东宫宿卫之人，侍官以上，名籍悉令属诸卫府，有勇健者咸屏去之。出左卫率苏孝慈为淅州刺史，勇愈不悦。太史令袁充言于上曰：“臣观天文，皇太子当废。”上曰：“玄象久见，群臣不敢言耳。”充，君正之子也。
于是文帝就对杨勇疏远、猜忌，竟然在玄武门到至德门之间的路上，派人观察杨勇的动静，事无巨细都要随时上报。另外，东宫值宿警卫侍官以上的，名册都令归属各个卫府管辖，勇猛矫健的人都要调走。左卫率苏孝慈被调出任命为淅州刺史，杨勇愈加不高兴。太史令袁充对文帝说：“我观察天象，皇太子应当废黜。”文帝说：“玄象出现很久了，群臣不敢说啊。”袁充是袁君正的儿子。
晋王广又令督王府军事姑臧段达私赂东宫幸臣姬威，令伺太子动静，密告杨素；于是内外喧谤，过失日闻。段达因胁姬威曰：“东宫过失，主上皆知之矣。已奉密诏，定当废立；君能告之，则大富贵！”威许诺，即上书告之。
晋王杨广又命令姑臧人督王府军事段达私下贿赂东宫受宠信的官吏姬威，让他暗中观察太子的动静，密报给杨素。于是朝廷内外到处是对杨勇的议论诽谤，天天可以听到杨勇的罪过。段达趁机威胁姬威说：“东宫的过失，皇上都知道了。我已得到密诏，一定要废黜太子。你要是能告发杨勇的过失，就会大富大贵！”姬威答应了，随即就上书告发杨勇。
秋，九月，壬子，上至自仁寿官。翌日，御大兴殿，谓侍臣曰：“我新还京师，应开怀欢乐；不知何意翻邑然愁苦！”吏部尚书牛弘对曰：“臣等不称职，故至尊忧劳。”上既数闻谮毁，疑朝臣悉知之，故于众中发问，冀闻太子之过。弘对既失旨，上因作色，谓东宫官属曰：“仁寿宫此去不远，而令我每还京师，严备仗卫，如入敌国。我为下利，不解衣卧。昨夜欲近厕，故在后房恐有警急，还移就前殿，岂非尔辈欲坏我家国邪！”于是执太子左庶子唐令则等数人付所司讯鞠；命杨素陈东宫事状以告近臣。
秋季，九月，壬子（二十六日），文帝从仁寿宫归来，第二天到大兴殿，他对侍臣说：“我刚返回京师，应该是开怀畅饮寻求欢乐，不知为什么变得抑郁愁闷？”吏部尚书牛弘回答：“是臣等不称职，使陛下忧愁劳累。”文帝已经多次听到对杨勇的诬陷诋毁，怀疑朝臣们都知道了，因此向朝臣们发问，希望听到太子的过失。牛弘的回答不合文帝的意思，于是文帝脸色一变，对东宫的官吏僚属说：“仁寿宫离这里不远，但是我每次返回京师都得严格准备仪仗保卫，就象进入敌国一样。我因为拉肚子，不敢脱衣服睡觉，昨天夜里要上厕所，因为在后边的房间恐怕有紧急之事，就返回前殿居住。难道不是你们这些人要危害我的家国吗！”于是把太子左庶子唐令则等几个人抓起来交付有关部门进行审讯，命令杨素把东宫的情况告诉近臣。
素乃显言之曰：“臣奉敕向京，令皇太子检校刘居士余党尽。太子奉诏，作色奋厉，骨肉飞腾，语臣云：‘居士党尽伏法，遣我何处穷讨！尔作右仆射，委寄不轻，自检校之，何关我事！’又云：‘昔大事不遂，我先被诛，今崐作天子，竟乃令我不如诸弟，一事以上，不得自遂！’因长叹回视云：‘我大觉身妨。’”上曰：“此儿不堪承嗣久矣，皇后恒劝我废之。我以布衣时所生，地复居长，望其渐改，隐忍至今。勇尝指皇后侍儿谓人曰：‘是皆我物。’此言几许异事！其妇初亡，我深疑其遇毒，尝责之，勇即怼曰：‘会杀元孝矩。’此欲害我而迁怒耳。长宁初生，朕与皇后共抱养之，自怀彼此，连遣来索。且云定兴女，在外私合而生，想此由来，何必是其体胤！昔晋太子取屠家女，其儿即好屠割。今傥非类，便乱宗。我虽德惭尧、舜，终不以万姓付不肖子！我恒畏其加害，如防大敌；今欲废之以安天下！”
于是杨素就公开地说：“我奉旨到京师，命令皇太子查核刘居士的余党。太子接到诏书，脸色大变，表情非常愤怒，他对我说：‘刘居士的余党都已伏法，让我到哪里去追究呢？你作为右仆射，责任不轻，你自己去查核此事吧，关我什么事！’又说：‘过去的禅让大事要是不顺利，我先得被杀，如今父亲作了天子，居然让我还不如几个弟弟，凡事都不能自作主张！’他就长叹说：｀我觉得太不自由了。‘”文帝说：“这个儿子我很早就觉得不能够继承皇位了，皇后老劝我废黜他，我认为他是我作平民时生的，又是长子，希望他能够逐渐改正错误，我已克制忍耐到现在了。杨勇曾经指着皇后的侍女对人说：’都是我的‘。这话说的是多么地奇怪。他的妻子元妃刚死时，我很怀疑她是被毒死的，曾经责问过杨勇，他就怨恨地说：’应当杀掉元孝矩。‘这是想要害我而迁怒他人。长宁王刚出生时，我和皇后一起抱来抚养他，杨勇却心中另有想法，连连派人索要。况且云定兴的女儿，是云定兴在外面私合而生，想到她的出身来历，由何能说必定是他的子女呢？以前晋太子娶了屠户的女儿，他的儿子就喜欢屠宰之事。如今他们不是咱们这一类人，会乱了宗祠。我虽然德行不及尧舜，但终归不能把天下百姓交付给品行不端的儿子！我总担忧他会谋害我，对他就象防备大敌一样，现在我打算废掉他以安定天下。”
左卫大将军五原公元谏曰：“废立大事，诏旨若行，后悔无及。谗言罔极，惟陛下察之。”
左卫大将军五原公元劝说文帝：“废立太子是大事，诏书若颁布实行了，后悔就来不及了。谗言说起来是无定准的，希望陛下再仔细调查这些事。”
上不应，命姬威悉陈太子罪恶。威对曰：“太子由来与臣语，唯意在骄奢，且云：‘若有谏者，正当斩之，不杀百许人，自然永息。’营起台殿，四时不辍。前苏孝慈解左卫率，太子奋髯扬肘曰：‘大太夫会当有一日，终不忘之，决当快意。’又宫内所须，尚书多执法不与，辄怒曰：‘仆射以下，吾会戮一二人，使知慢我之祸。’每云：‘至尊恶我多侧庶，高纬、陈叔宝岂孽子乎！’尝令师姥卜吉凶，语臣云：‘至尊忌在十八年，此期促矣。’”上泫然曰：“谁非父母生，乃至于此！朕近览《齐书》，见高欢纵其儿子，不胜忿愤，安可效尤邪！”于是禁勇及诸子，部分收其党与。杨素舞文巧诋，锻炼以成其狱。
文帝不听元的话，他命令姬威把太子的罪恶都讲出来。姬威回答：“太子向来对我讲话，意气极为骄横，还说：‘要是有劝我的人，就该杀掉他。杀百把人，自然就永远清静了。’太子又营建楼台宫殿，一年四季都不停止。先前苏孝慈被解除左卫率官职的时候，太子愤怒得胡子都翘起来了，他挥着胳膊说：‘大丈夫终会有一天，不会忘记此事，一定要杀伐决断以求痛快！’另外，东宫内所索取的东西，尚书经常恪守制度不给，太子往往立即发怒，说：‘仆射以下的人，我可以杀一、两个，让你们知道怠慢我的灾祸。’太子常说：‘皇父厌恶我有许多姬妾，北齐后主高纬、陈后主陈叔宝是庶子吗？’太子曾令女巫占卜吉凶，他对我说：‘皇帝的忌期在开皇十八年，这个期限快到了。’”文帝流着泪说：“谁不是父母所生，他竟然这样！我近来翻阅《齐书》，看到高欢纵容他的儿子，就非常气忿。怎么能仿效这种人呢？”于是把杨勇和他的几个儿子都拘禁起来，并逮捕了他的部分党羽。杨素舞文弄墨，巧言诋毁，罗织罪名以构成下狱之罪。
居数日，有司承素意，奏元常曲事于勇，情存附托，在仁寿宫，勇使所亲裴弘以书与，题云“勿令人见”。上曰：“朕在仁寿宫，有纤介事，东宫必知，疾于驿马，怪之甚久，岂非此徒邪！”遣武士执于仗。右卫大将军元胃时当下直，不去，因奏曰：“臣向不下直者，为防元耳。”上以及裴弘付狱。过了几天，有关部门的官员秉承杨素的意思，奏报文帝说元常常曲意迎逢杨勇，有阿谀结交之事。在仁寿宫，杨勇派他的亲信裴弘给元送信，信上写着“勿令人见”。文帝说：“朕在仁寿宫，无论什么细微之事东宫必定知道，比驿马传信还快，我对此事感到奇怪已经很久了，难道不是这恶徒的缘故吗！”于是派武士从左卫仗将元抓了起来。右卫大将军元胃当时不应该值班了，但他没有离开，对文帝说：“我先前不下班的原因是为了防备元。”文帝把元和裴弘都投入监狱。
先是，勇见老枯槐，问：“此堪何用？”或对曰：“古槐尤宜取火。”时卫士皆佩火燧，勇命工造数千枚，欲以分赐左右；至是，获于库。又药藏局贮艾数斛，索得之，大以为怪，以问姬威，威曰：“太子此意别有所在，至尊在仁寿宫，太子常饲马千匹，云：‘径往守城门，自然饿死。’”素以威言诘勇，勇不服，曰：“窃闻公家马数万匹，勇忝备太子，马千匹，乃是反乎！”素又发东宫服玩，似加饰者，悉陈之于庭，以示文武群臣，为太子之罪。上及皇后迭遣使责问勇，勇不服。
当初，杨勇看见枯老的槐树，问道：“这树能做什么用？”有人回答：“古槐尤其适于作柴来取火。”当时杨勇的卫士都带着火燧，杨勇命令工匠制做了几千枚火燧，打算分赐给身边的人；现在，库中的火燧都被收缴。另外，药藏局贮存着好几斛的艾绒，杨素收缴上来，感到很奇怪，就问姬威，姬威说：“太子此意另有用处。皇帝在仁寿宫，太子经常饲养着一千匹马，说：‘要是直接守住城门，自然就会饿死。’”杨素以姬威的