武士彟奉李渊的密令，向来不显山不露水，平时做出依附王、高二人的样子，见二人问这事，故作诧异地说：“募兵是为朝廷使用，兵乃国家之兵，服色、旗帜当然按国朝颜色、样式定制，不信我打开库房，让二位大人看看。”
王、高二人见武士彟说得肯定，言之凿凿，无什么可疑处，盘桓了一会，但仍愤愤地说：
“长孙顺德、刘弘基等，皆为征辽亲侍，临阵脱逃，犯法当死，如今亡命到此，却让他们统兵，分明另有目的，瞅机会非把他俩抓起来不可，审问个明白。”
武士彟听了这话，心里很着急，表面却假装好意婉言劝道：
“二位大人忠心为公，遇事认真，可敬可佩。然长孙顺德和刘弘基乃唐公的贵客，若贸然逮捕他们，必然会引起纠纷，恐于大事不利。”
“这事不能就此拉倒！”王威恨恨地说道，而后与高君雅一起走了。俩人前脚刚走，武士彟就出了门，直奔李府，把王、高二人的怀疑禀报给李渊，并关切地说：
“王、高二人虽没有多少兵权，但手中仍有兵马和亲信，唐公要多提防他俩。实在不行，要先下手为强啊！”
留守司兵田德平见李渊大规模地募兵，并向突厥买马，也怀疑其有意图，想劝王威过问募兵之事，但举棋不定，怕事情不利连累自身，于是找好友武士彟商量。武士彟推心置腹地跟田德平说：
“公为朝廷着想，这本是好事。但讨捕的兵马，均属唐公掌握。王威、高君雅虽是副留守，但却徒有其名。没有多大的作为。你纵使向他们告发，也于事无补。你何必又去得罪唐公，自寻烦恼呢！”
田德平觉得武士彟分析得有道理，于是将这事压了下来，对李渊欲起兵一事，睁一只眼闭一只眼，佯作不知。太原的局势却越来越紧张，越来越明显，募来的万余新兵均归李渊的亲信所领导，每日操练也不讲对付刘武周的事，宣扬的多是隋室无道、天下兵争的事。晋阳街面上也到处传言李渊将要发动兵变。
在这种形势下，王威、高君雅渐渐觉出事情的可怕，若李渊起兵，第一将斩他俩的头。密报朝廷已来不及了，远水解不了近渴，现如今只能自己救自己。先下手为强，后下手遭殃。王威、高君雅决定采取非常措施，除掉李渊。
进入五月，晋阳有两个月没下雨了，庄稼被越来越热的阳光烤得蔫头耷脑的。照陈年老例，将在晋祠设祭祈雨。为了突出祈雨的隆重性，晋阳乡长刘世龙专程赶往王威的府上，请他祈雨那天光临助兴。
当得知祈雨那天李渊也到场时，一个点子猛然从王威的脑子里冒了出来。李渊募兵买马，磨刀霍霍，反相已露。何不乘此机会将李渊除掉！
于是王威与高君雅密谋一番，便开始准备兵马了。岂知对此有所察觉的刘世龙已将此事汇报给了李渊。这边李渊也已在晋祠附近布好了亲兵。
及至祈雨的那天，在李渊的安排下，开阳府司马刘政会突然出现，将一密状呈给李渊。“密状”中称王、高二人引突厥入关。直到这时，王威、高君雅才发觉上了人的圈套。不容分说，已被人五花大绑，押回城中。
吉时已到，李渊则在刘世龙等人的陪同下，来到前院的祭台，与老老少少一起，向台上的龙王爷献香祷祝，顶礼膜拜，祈望龙王爷能给久旱的大地普降甘霖……
事有凑巧，刘政会告王威、高君雅勾结突厥入关，第三天，即五月十七日，突厥发数万骑兵袭击太原，其轻骑兵在太原城外，往来驰骋，极为骄横。李渊决定利用智谋使突厥退兵，一来不伤与突厥的和气，二来让突厥看看李渊的实力，让其从此不敢小瞧。突厥来犯，正应了刘政会的“密报”。在对付突厥的军事会议上，分派完各路兵以后，李渊命令道：
“人告发王威、高君雅勾结突厥，今果然如此，立即将此二人处斩，祭旗出兵！”
将王、高二人处斩后，单说李渊沉着冷静，命裴寂、刘文静等分别守备太原诸城门。且令城门大开，城墙上不树旗帜，守城将士皆蹲在城垛后面，不许出声。唱一出空城计，以迷惑突厥。空城计毕竟是空城计，为防不测，李渊命李世民率精锐骑兵，乘黑夜悄悄出城，占据险要的地方，一旦太原城有何不测，即从背后突袭突厥。
为进一步迷惑突厥人，李渊又命部将王康达率所部千余人，黑夜出城，白天入城，大张旗鼓装作援军的样子。
李渊的疑兵计收到了预期的效果。在城外，虽然发生了一些小规模的战斗，但基本上没有大的战斗。突厥此次来太原，本来是示其威武，并不准备强攻太原，今见李渊有所准备，怕夜长梦多，于是乘夜退兵。
月光下，但见城外尘土飞扬，人喧马嘶。城墙上的将士们见突厥兵从夜里一直到第二天上午才全部退完。亲眼见到突厥兵强马壮，人多势众。将士们既高兴，又后怕。后怕的是突厥兵终于没来攻城，高兴的是唐公李渊智谋过人。乱世之中，追随这样的人，岂不是我辈的大幸！
上午，李渊正在留守府和文武官员议事，城外埋伏的侦骑飞马来报，言突厥兵已全部退出太原。李渊微微一笑，手捋胡须说：“我知之矣。”
文武官员一齐上来祝贺，齐赞唐公之德。去年马邑大败突厥，现在又智退突厥，使太原避免了劫难，成为乱世之中，最和平的地方。李渊的形象在文武官员和百姓中越来越高大，联想到“杨氏灭，李氏兴”的童谣、图谶，人们更是对李渊心怀敬畏。在讨论如何进行下一步行动时，李世民认为，若兵行天下，必须确保后方根据地太原的安全，而太原最大的威胁来自突厥。突厥控弦百万，十分强大，若一味与其对抗，以后仍然会麻烦不断，只有实行表面妥协和畏服的办法，才能确保太原的安全，确保起兵的顺利实施。
大家一致表示赞同。李渊虽觉畏服突厥，会召来天下骂名，但眼下却不得不如此。于是修书一封，再遣刘文静出使突厥。
信中李渊表达了自己欲取天下，向突厥屈节求和之意。并投其所好，言取天下后，除土地之外，货财宝物，任其所取。始毕可汗接信后非常高兴，对臣下说：
“我知唐公是非常之人，果做异常之事。今上书恭维于我，我当从之。以求宝物。”为了表示向突厥的臣服，裴寂等人主张起兵用白旗，以和突厥的旗色保持一致。李渊认为太露骨，不同意，最后采用李世民的意见，一半是红，一半是白，“杂用绛白”，以表示既不纯属于隋朝、也不纯属于突厥。
北连突厥，解除了后顾之忧，这时李建成、李元吉和柴绍也赶到了太原。李渊觉得正式起兵的机会到了，立即召开太原郡各级官员大会，会上，李渊言隋炀帝无道，致天下大乱，决定依伊尹放逐太甲、霍光废昌邑的故事，废隋炀帝而立代王。并传檄各县，克日起兵。
文武官员都知道李渊葫芦里卖的是什么药，尊隋是假，欲取天下是真。虽说如此，绝大多数人还都愿跟着李渊。听完李渊的号令，与会的官员爆出一阵欢呼声。
李渊为人行事再好，也有人不买他那一套。起义檄文传到了西河郡（今山西汾阳），郡丞高德儒甘愿为隋炀帝尽忠，不听从李渊之命，且坚壁清野，与太原断绝交通。想在乱世之中，夺取天下，就不能怕打仗。李渊决定首先拿西河郡开刀。李世民自告奋勇，愿去打这起兵的第一仗。但李世民毕竟年仅二十岁，又是单独领兵攻城，李渊怕有什么闪失，派大儿子李建成与李世民一起去，并任命诚实稳重的新任太原令温大有为行军参谋。行军之前，李渊拉着温大有的手说：
“我军兵马尚少，又多是新兵，无实战经验。此次又要攻城略地，非比平日打仗。我儿年少，派卿参谋军事，希望你用心而为之。这一仗关系重大，若赢了，帝业可成也。”
李渊又勉励二子一番。李建成、李世民跪地明誓，表示“家国之子、忠孝在焉”，坚决完成任务，若有闪失，愿受军法裁处。李建成这些年在河东，也没有白混日子，平日也研习了不少兵法。今见军队多为新招募的兵士，训练还不到位，行军举止都没有章法，于是边行军，边教以军法。你别说，还真管事，部队行军的步伐整齐多了。行军时，李世民总是一马当先，走在队伍的前列，遇到危险，就挺身而上。每顿饭也与士兵一起吃，颇得人心。温大有又与李建成、李世民商议，约定部队对百姓要秋毫无犯。行军中，见果蔬，非买不食。遇到乡绅里老送牛酒，则婉言谢绝。这支部队虽然年轻，但却得到了老百姓的一致好评。得人心者得天下，年轻的李世民已深深地明白了这个道理。
兵马顺利开到西河城下。李建成、李世民卸去铠甲，放下刀枪，空身至城下喊话，言明来意，做守城部队的思想工作，瓦解其战斗力。
此时，隋炀帝无道，偏居江都，天下几乎到了无主的地步，守城的官兵也禁不住自己考量，想寻条明路。西河郡司法书佐朱知瑾心眼早活动了，暗地里组织一些亲信朋友，准备反正。
高德儒高郡守执迷不悟，执意要当烈士，对着城下的李建成、李世民破口大骂，并令人放箭。兵无战心，箭矢也没有劲，纷纷射落在李建成、李世民的马头前。两人拍马回归本阵，李世民穿上铠甲，提着砍刀，对李建成和温大有说：“少跟他啰嗦，立即攻城！”
一声令下，兵士们嗷嗷叫地扑了上去。飞梯刚搭上城墙，李世民第一个往上爬，兵士们见状，备受鼓舞，人人奋勇争先，守城之兵见状，没等攻城的人爬上来，便弃械逃跑。高德儒见大势已去，急忙和几个亲兵护卫一块，换上百姓衣服，窜向城中。李世民等攻城战士未受任何抵抗，便涌入城中，城门大开，李建成、李世民，温大有率一队兵士，直奔郡丞府，开府办公。坐在郡丞府的大堂上，李建成自然高兴，摸摸这，看看那，又万分遗憾地说：
“没抓住高德儒，真是遗憾。”
话音刚落，只见郡司法书佐朱知瑾领几个人拖进一个人来，众人定睛一看，抓来的人正是高德儒。温大有比较熟悉这高郡丞，指着李建成、李元吉说：
“当年他路遇野鸟，硬说见到的是鸾鸟，佞惑隋主，以为祥瑞，才混得现在的一官半职。”
李建成拍手兴奋地说：“把这老家伙押往晋阳，让父亲大人看着也高兴高兴。”
一旁的李世民，却鼻子里哼一声，说：“这样的茅坑石头俯拾皆是，有何看头？来人呐——”
堂下站立的卫士应声上前，李世民也不和李建成商量，径自命令道：
“把这高德儒推出斩首示众！其他人等，一概免罪。”
李建成见李世民如此，心下不悦，却也没说什么。第二天，平定西河的军队即高奏凯歌，回到晋阳，来回才不过九天。李渊亲自到城外迎接，高兴地对左右说：“如此行兵，虽横行天下可也！”
这年六月，李密率瓦岗军围攻洛阳，大败隋军于平乐园。隋炀帝急命江都通守王世充、河南大使虎牙郎将王辩、河北大使太常少卿韦霁，率部增援洛阳。一时间，长江以北的隋军主力皆集中在洛阳战场上。长安城守备薄弱。李渊决定发兵进攻关中，夺取长安。为争取人心，多募兵马，李渊命令开仓放粮，救济贫民。此举大受百姓欢迎，来参军的人一天天增多。太原的总兵力已达五万余人。大业十三年（617年）六月十四，正式建立大将军府。裴寂等属下上尊号称李渊为大将军。李渊以李建成为陇西公、左领军大都督，管辖左三统军，李世民为敦煌公、右领军大都督，辖领右三统军，李建成、李世民各设官属，柴绍为右领军长史。
李渊首封裴寂为大将军府长史、刘文静为司马，唐俭和前长安尉温大雅为记室，温大雅与其弟温大有共掌机密。武士彟还干老本行，为铠曹，全面主管军供工作。刘政会、崔善为、张道源为户曹。原晋阳长姜谟为司功参军。原太谷长殷开山为府掾。长孙顺德、刘弘基、窦琛及原鹰扬郎将王长谐、姜宝谊、阳屯等为左、右统军。
总之，原太原留守府的各级官吏大部分留用，随才授职。
七月四日李渊任命四子李元吉为镇北将军，领太原太守，全权处理后方太原的一切事宜。五日，李渊率三万甲士誓师出征。
此次是起事之后的首次远征，场面搞得十分隆重。正阳门外宽阔的大校场上，三万甲士按分布排列，其中步兵营居前，骑兵营在后。兵士们皆铠甲鲜亮，枪刀闪光，甚是齐整、威武。校场周围，白绛杂色的旌旗猎猎作响。再远些，隔离栏之外，围满了百姓，大人小孩都伸着脖子看。
校场北边，面南背北，临时搭建了，一个高台子。台子上，李渊身着大将军服，坐于虎皮帅椅上。左右一字排开四十八名偏将，一个个挺胸昂首，威风凛凛。再往前，置两排座椅，坐着十几个裴寂等大将军府的主要官员。
滴水表前，值日官眼瞪得老大，见预定的吉时已到，忙举起手中的小黄旗，骤然一挥。誓师大会总指挥裴寂见状，挺身上前，手举铁皮喇叭，高声宣布此次进军关中的重大意义，而后请敦煌公李世民代表三军将士，宣读誓词。
李世民一身戎装，阔步上前。他威严地扫视台下黑压压的甲士们一遍，才拿出誓辞，高声宣读：
夫天地定位，否泰迭其盛衰。日月著明，亏昃贬其贞满，惟神莫测，尚乃盈虚。……时属艰危。则其股肱宰衡，藩屏亲戚，戮力同心，推心翼戴，颠或可扶，糺合而奔。官守恶而不可赦，废放而安宗社。……今上之行己也，独智自贤，安忍忌刻。……巡幸无度，穷兵极武。喜怒不恒，亲离众叛。……征税尽于重敛，民力殚于劳止。……今便兴甲晋阳，奉尊代邸，扫定咸雒，集宁寓县。放后主于江都，复先帝之鸿绩。……家怨国耻，雪乎今日。从我同盟，无为贰志。有渝此盟，神其殛之。
李世民刚宣完誓词，但听一声炮响，惊天动地。台下的将士们发出暴风雨般的欢呼声。李渊站起身来，高声命令：“三军出发！”
李世民令旗一挥，五千骑兵，马蹄得得，在旗幡的引导下，率先出场。接着是步兵营。烟尘飞起，逶迤不断。最后压阵的又是一营骑兵。李渊等出征的将士也跨上战马，离开北校场，挥军向长安进发。
晋阳起兵，打的是“立代王为帝”这种“尊隋”的名义。此种“掩耳盗铃”的做法，帮了李渊的不少大忙，避免了大臣犯上谋反的恶名，檄文所到之处，还真颇有鼓动作用。
出师途中，李渊不敢有丝毫大意，让李建成和李世民领亲兵家僮不断巡视兵营。凡器仗、粮草、战马无不让其心腹掌握。大军分前军后军中军，李世民在前，李建成在后，李渊居中，互为呼应。但李渊怕遭受埋伏，仍不放心。除派刘弘基率侦骑前行外，又派通议大夫张纶领军至离石、龙泉、文城三郡，作为主力军右翼掩护。
由于屈节交好突厥，西突厥大将阿史那大奈亦率军从征。七月八日，大军到达西河郡。稍稍休整，李渊即亲自慰劳吏民，赈济贫困。百姓中七十岁以上，皆授为散官，虽无实权，却有俸禄。其他豪杰，也一律量才录用。由于建制不全，没有官印，无法印制告身（委任状）。李渊就手写官名，一天竟任命一千多人。官员们手持李渊手写的官名，兴高采烈，皆愿为李大将军拼死报效。
守长安�