这个时机终于来了。隋朝的鹰扬府校尉刘武周因为和太守王仁恭的侍女私通，害怕被发现，就以贪污之名杀死了王仁恭，进据汾阳宫，自称天子，国号定杨。这下他侵犯到了李渊在山西的势力，于公于私，李渊都不能姑息。李渊看出这是一个千载难逢的好机会，他一面派李世民、王威、高君雅率兵讨伐刘武周，一面以讨伐刘武周需用兵为名，派谋士刘文静、长孙顺德、刘弘基到处召集兵马粮草。由于早已打下了良好的根基，众英雄纷纷归附，很快聚齐了一万多亲兵，又暗中召回驻守在蒲州的建成、元吉两兄弟到晋阳，准备起事。
李渊的动作和意图被副留守高君雅和王威察觉到了。他们并不是李渊的亲党，担心李渊要谋反，想了个计谋，打算请李渊到晋祠祈雨，乘机将他杀死。李渊得知他们的计谋，于是先下手为强，给高、王二人找了个里通外国、引突厥袭边的罪名，将二人杀死，正式起兵。
首战告捷
因为山西北靠边境，李渊必须考虑突厥的问题。一旦突厥在这个关键的时候骚扰，或者直接被他人利用与他作对，那么自己的后方将不得安宁。所以早在起兵之初，李渊就已经想好了这个问题的解决方法。他知道突厥进犯中原无非是想得到粮食财物，就派刘文静出使突厥，以谦卑的态度与突厥交好，许给他们不少好处，希望自己起事时突厥能够率兵相应。其实李渊并没有真的指望他们会帮忙，只要能够不趁机从身后袭来，就已经是战略性的胜利了。这下一切准备周全，李渊终于可以放手作一番大事业了。
但李渊并没有急着自立门户，称王称帝。他知道这样会招来天下骂名，成为众矢之的，于是先建起了大将军府，设立三军，分立左右，十分齐整却不张扬。他命令世子李建成为陇西公、左领大都督，率左军；次子世民为敦煌公、右领大都督，率右军；谋士裴寂、刘文静等也都各司其职，井然有序。除此之外，他还开仓赈济贫民，在所辖境内废除苛捐杂税、大行仁政，使得远近归心，积极响应。
能得到百姓的拥戴，李渊的事业没有了后顾之忧，从此所向披靡，势力很快壮大起来，在相当短的时间内，他就收服了山西周边。看到自己的事业大有前途，雄心勃勃的李渊便将眼光放在了关中，直指天下。他任命四子元吉为镇北将军、太原留守，第二天就亲率甲士三万，由晋阳誓师出发，沿着汾河谷道南下河东，开始西图关中的征程。
但这次李渊却碰上了个出师不利。他遇到的第一个对手是驻守霍邑的隋虎牙郎将宋老生，这个人十分善战，他看到李渊逼近，并不急着与他们作正面冲突，而是屯兵坚守，以逸待劳，准备打消他们的锐气。这时恰巧又天连降大雨，道路泥泞，李渊部粮草供应十分困难，几乎陷入绝境。再加上外间谣传突厥将与刘武周乘虚攻袭大本营晋阳，出使突厥的刘文静又尚未归来，李渊心如乱麻，终于坚持不住，打算下达撤军的命令。但李世民坚持说不可半途而废，否则会让士气大损，再想东山再起就很难了。李渊听了，一时也犹豫不定。
幸好不久之后就雨过天晴，粮草也如期送到，让李渊的军队士气大振。北方又来了一支援军，那是刘文静说服了突厥的始毕可汗后，可汗派大将增援来的五百精兵和两千匹马。这无疑给了李渊极大的鼓舞，他立即重新组织进攻霍邑。这次他沉住了气，没有急着找宋老生决战，而是先派一些游击军去激怒宋老生。这一招果然有效，宋老生统兵三万由东门、南门出来迎战，李渊以退为进，吸引宋老生到城外一里的地方，又派李建成和李世民率军绕到宋老生部背后，切断他的后路，让人在乱军中大声喊话，说宋老生已经被斩，让大家快去逃命。结果宋老生的部众阵势大乱，溃不成军，宋老生也被斩于马下，李渊取得了第一次战役的决定性胜利。随后李渊兵分两路，一路由李世民率领，顺利攻下了屈突通固守的河东，另一路主力军则由他自己亲自率领西进，从壶口渡过黄河，扼守潼关，直取关中。
登临帝位
从此之后，李渊通向关中的路变得一帆风顺。他的女儿平阳公主在陕西散尽家财，招揽义士，又派家人招降附近军队，一路攻城夺地，召集了七万人的部队，号称“娘子军”。李世民一路西进，所到之处，吏民豪杰也纷纷归附。等到了泾阳时，已经有了九万人马，与“娘子军”胜利会师，声势大涨。李建成则率领着精兵与李渊会师，二十余万军队围攻京城，一时间，云梯林立，千军万马并进，守军见了大为恐慌，纷纷溃散投降，京城很快被攻下。李渊入城以后，约法十二条，善待民众，剪除奸臣，平息民愤，在长安站稳了脚跟。
文臣武将纷纷请李渊登基，但他却没有答应。因为他十分明白，现在只是关中略微平定，离他统一全国的目标还差得很远。如果现在登基称帝，只能把自己推向孤立，让部众们争功争位，骄奢难治，反而会坏了大事。于是他决定学曹操，表面上打着“志在尊隋”的旗号，宣布尊立十三岁的隋炀帝之孙代王杨侑为帝，遥尊炀帝为太上皇，实际上早就不把偏安江南一隅的隋炀帝放在眼里，只是在挟天子以令诸侯了。
此时的隋炀帝看到各地起义军烽烟四起，却还不知收敛，依然奢侈残暴，拒绝臣下的劝谏，滥杀忠臣良将。公元616年，他不顾隋朝的安危，再次巡游江都，临出发时，有小官崔民象上表谏阻，他却把崔民象杀了。走到汜水时，又有小官王爱仁上表劝谏，他又杀死王爱仁，继续前行。到了开封，又有人拦路上书，说皇帝如果非要去江都，一定会丢了天下，他就又杀死了上书人，最后终于到达江都。
到江都后，炀帝更加荒淫无度，在宫中建造了一百多座殿房，居住许多美女，每天轮流由一宫妃子作东，他带着后妃侍女一千多人前去饮酒作乐。他也不是不知道隋朝的危亡局势，只想在生命结束前及时行乐，经常对萧皇后说：“外面有不少人想谋害我呢！别管他，还是顾得眼前快活吧！”有一次，他拿起一面镜子呆呆地照了许久，然后说：“这颗大好的头颅，不知道谁会来砍它呢？”
眼见隋朝的大部分地区已被起义军所控制，隋军只是困守着洛阳、江都等几座孤城，炀帝怕江都不安全，就准备迁都到长江以南的丹阳去。但他的禁卫军将士都是关中人，早已经怨恨炀帝的久居江都，现在见他还要南迁，都担心此去再也难以回到北方，恐怕见不到亲人，于是纷纷谋划着逃归故里，军心浮动，众叛亲离。
公元618年三月三日，炀帝的禁军右屯卫将军宇文化及发动兵变，将隋炀帝杀死。消息传到长安，李渊的儿子和谋臣们都认为是个大好时机，当即逼着隋恭帝让位。李渊看到炀帝已死，正好以讨叛军为名东进，就在文武官吏一片劝进声中正式做了皇帝，改国号为唐，改元武德，是为唐高祖。他以世子建成为皇太子，世民为秦王，元吉为齐王，大封百官。从晋阳起兵到长安称帝，李渊正好用了一年的时间。
四海归一
但是当上皇帝不代表能坐稳皇位，更不代表已经坐拥天下。事实上当李渊称帝时，西北和北方边境上有李轨、薛举、梁师都、郭子和、刘武周、高开道；黄河流域有王世充、李密、窦建德、徐圆朗；江淮之间有杜伏威、李子通；江南一带还有林士弘、萧铣。与这些割据势力相比，李渊的实力并不占绝对优势，他只是这一阶段群雄并起的一支，空有天子名号，鹿死谁手仍旧是个未知数。李渊据守关中，要想统一天下，还要经历长期而漫长的历程。面对当时形势，李渊君臣们确立了三步战略计划，首先巩固关中根据地，然后进军关东，逐步统一全国。
在实现第一步的计划中，他们遇到的劲敌是雄踞陇右，自称秦帝的薛举。当薛举知道李渊据有关中后极为不安，立即派他的儿子薛仁杲率兵进攻扶风，但却被打退。公元618年六月，薛举亲自统军来攻，唐朝派出刘文静抵御，但这次刘文静却犯了轻敌冒进的战略错误，最终惨败。但上天似乎格外眷顾大唐，正当薛举准备乘胜前进时，没想到竟然突然病死了。他的儿子薛仁杲继位，军心不稳，李世民乘机进军，两军相持了两个多月，乘着薛仁杲粮草用尽、将士离心之际，在浅水原大败薛仁杲部军，薛仁杲走投无路，只好投降。
平定薛仁杲之后，李渊又把锋芒指向久据河西、号称凉帝的李轨。除了联络吐谷浑以孤立李轨以外，他还用离间计来瓦解李轨集团。武德二年五月，唐高祖派安兴贵招抚李轨，但李轨不甘心就此居于人下，拒绝了李渊的招安，安兴贵就和弟弟安修仁引李轨帐下的胡人发动兵变，颠覆了李轨的政权，河西五郡也并入唐的版图。至此，李渊经营西北、稳定后方的计划基本实现。
正当李渊部众与薛举、李轨等人纠缠不休时，没想到后院却起了火。以前被李渊赶到代北的刘武周大举进攻太原，太原留守李元吉被打了个措手不及，弃城逃走，刘武周的军队直达山西西南部，引得关中震骇。李渊此时镇定自若，命令李世民统领关中所有的兵力进行抵御。李世民自龙门渡河，与刘武周部僵持五个月之久，然后乘着宋金刚军粮匮乏，向北撤退的时机，展开迅猛追击，刘武周兵败逃往突厥，后来被突厥杀死，唐军完全占领了山西地区。这样就巩固了关中地界，扫除了进兵关东的障碍。
关东地区原来是瓦岗军翟让、李密的地盘，后来李密贪图权势，恩将仇报，杀害了曾经收留他的瓦岗军首领翟让，使瓦岗军内部出现了分裂。不久之后他被洛阳王世充乘乱重伤，溃不成军，最后干脆降唐以求自保。李渊很是优待李密，还把自己的表妹嫁给他，但李密投降后却不安分，还想要趁唐军与王世充部开战之机拉一支亲军东山再起，但不久就阴谋败露，被李渊除掉。
现在关中最大的障碍是王世充的势力。王世充本来也是隋朝的大将，曾任江都通守，隋炀帝被杀之后，他拥立炀帝的另一个孙子杨侗为帝，但到了公元619年，他干脆踢开杨侗自己称帝，建立郑国，定都洛阳。为了尽快平定关东，李渊派李世民倾全部主力对付王世充，王世充怕自己支持不了多久，就拉上窦建德的势力一起对抗，结果连窦建德也被李世民打得大败。这下王世充彻底绝望了，当他看到自己只剩下洛阳一座孤城的时候，也只得被迫投降。虽然窦建德作战失败，但他一向优待属下，安抚百姓，在民众中拥有很高威望。当李世民派人将窦建德押赴长安时，曾经劝告李渊不要杀死窦建德，但李渊没有听从，结果激得窦建德手下大将刘黑闼造反，联络突厥卷土重来，李渊派李元吉前去平定，竟然惨败而还，不得已之下只好派太子李建成亲征，倾巢出动才将刘黑闼制服，刘黑闼兵败被杀。至此关东之地才算彻底在李唐王朝的掌控之下，此时已经是李渊称帝后的第六个年头了。
江南的平定比江北相对容易一些。割据江南的主要是萧铣、杜伏威，萧铣原是南朝后梁皇族后裔，与炀帝的萧皇后是本家，他想趁隋乱恢复梁的基业，但却与杜伏威一样，很快就被李渊的大将李靖打败了。之后其他的小势力领导者如高开道、徐圆朗等或降或死，也都没有坚持多久。就这样，李渊基本上削平了隋末以来分裂割据的局面，完成了全国的统一，是隋末群雄逐鹿过程中最后的胜利者，成了实现四海归一的名副其实的开国帝王。
事实证明，李渊在登基之后，也是下了一番功夫，争取实现太平盛世的政治理想。对于百姓，李渊以宽慰为主，与民休息，施仁政恢复生产。有一次他与大臣们讨论如何防禁盗贼，有人认为对待盗贼必须采取的一些重法严惩，甚至提出使用断骨抽筋的酷刑进行整治。可李渊却认为大量的老百姓之所以偷盗是因为皇权威严、赋税过于繁重，官贪民贫、民不聊生所致。因此主张治盗要从根本上杜绝奢侈浪费，尽最大努力减轻农民负担，选拔重用清正廉洁的官吏治政。只有老百姓富裕了，才能解决盗窃的问题。于是李渊下令轻徭薄赋，让利于民。不几年，唐王朝便出现了夜不失遗，天下太平的安定局面。李渊对群臣说：“君依于国，国依于民”。如“割肉充腹”，只能“民死国亡”。治国者绝不能穷奢极欲，加重农民负担，否则，就是在自掘坟墓。在对待朝臣方面，李渊也有自己的一套，有效地威服众臣，并不以亲疏论远近。唐高祖武德八年，李渊叔父李神通与唐朝重臣房玄龄等争功劳。李神通自恃是皇亲又首应李渊起兵关西，十分轻视谋臣房玄龄和杜如晦等为李渊夺取天下作出重大贡献的人。李渊以安社稷运筹帷幄功劳在神通之上为由，而不因私滥规以至亲为尊行赏，真诚地说服了叔父神通。皇室宗亲也不能因私废公，只有如此才能服天下民心，国家才会安定繁荣强大起来。李渊用人，并不限于出身，还能感化敌对的人才为我所用，虽仇不弃。如隋之重臣左武侯大将军屈突通，曾经在河东、潼关等战中力拒唐军，屡次为隋廷立下战功，后来为唐所擒押送长安。李渊甚是器重其兵法武略，当即拜为兵部尚书。另外李渊与李靖的交往也很有意思，李靖起初气焰很嚣张，看不起李渊，在李渊得势以后，李靖被擒，压入长安待斩，李靖见到李渊大呼：“您既然举的是义兵，理想是平叛勘乱，又怎么能以一己私怨而枉杀壮士呢？”李渊认为他说的有道理，于是就赦免了他。后来李靖军功显赫，李渊除了重用他之外，还对他说：“你尽管放心，关于那些不愉快的陈年旧事，我早就忘记了！”李靖听了很是感动。由于李渊具备这种虚怀若谷的政治人格和正确的施政方针，由他苦心经营起来的李氏大唐政局很快稳定下来，向着强大迈进。
亲情之间的困惑
自从李渊踏上起兵之路后，步步为营、小心谨慎，历经千辛万苦，终于实现了统一天下的宏图霸业。在此过程中，他的几个儿子和忠臣良将们同样是呕心沥血，功不可没。
主明臣直唐史纪：太宗尝罢朝，怒曰：“会须杀此田舍翁。”后问为谁，上曰：“魏徵每廷辱我。”后退，具朝服，曰：“妾闻主明臣直，今魏徵直，由陛下之明故也，妾敢不贺。”上乃悦。
李渊的皇后窦氏共生了四个儿子，晋阳起兵时，长子建成28岁，次子世民18岁，四子第三子玄霸早夭，元吉14岁，故其时能够辅佐李渊统兵作战者，唯建成、世民二人而已。在李渊霸业即成、登临帝位之后，长子李建成被立为皇太子，他为人宽厚，又有才干，帮助高祖处理日常政务，恢复生产、调度粮草、制定大政方针，为李渊称帝起过重要的作用，是个相当杰出的继承人。次子李世民被封为秦王，他文武兼备，善于笼络人心，结交豪杰、礼贤下士，经常领兵出征，战功卓著。四子元吉的才能虽然不及二位兄长，但心思缜密，一直被派留守太原，对于稳定后方，支援前线可以说是功不可没。但是随着李世民立下赫赫军功，他手握重兵、威望逐日提高。再加上李渊在军事上尤其倚重秦王，李建成的太子之位似乎也越来越不保险。更重要的是李世民也渐渐不满足于屈居秦王之位，太子与秦王之间便产生了针对皇位继承权的明争暗斗。到了李世民削平关东以后，势力更加壮大，两个人之间矛盾就更深了。在他们的斗争中，齐王李元吉一直与太子亲厚，心中又存有一番鹬蚌相争、渔翁得利的