同时，杨坚也积极利用已有的社会影响，广泛拉拢关系，以扩大自己的势力。杨坚在做随州刺史时已与骠骑将军庞晃结为莫逆之交。后来，杨坚做定州总管，庞晃任常山太守，二人交往更密。杨坚将转亳州总管时，庞晃劝他就此起兵，建立帝王之业。杨坚握着庞晃的手说：“时机还不成熟啊。”至此，杨坚取代周武帝、自称皇帝的愿望溢于言表。
公元578年，周武帝驾崩，宣帝即位。杨坚的长女做了皇后，杨坚升任上柱国、大司马，掌握了朝政大权。加上年少的皇帝比较昏庸荒淫，在群臣中没有威信，于是，杨坚便开始准备取而代之。
周宣帝日夜享乐，为了满足自己的欲望，不顾朝臣的反对，修建洛阳宫，致使上下怨愤。杨坚便开始做取代周室的准备工作。有一次，杨坚与好友宇文庆谈论时政，预感到北周的统治即将结束，对可能出现的动乱局面进行了充分的估计，并已经做好收拾北周局面的思想准备。
杨坚的活动也曾引起周宣帝的警觉和不安，他甚至曾想杀掉杨坚。但杨坚始终不动声色，周宣帝既找不到借口，又不愿意随便杀死自己的岳父。
杨坚尽管表面不露声色，但内心对周宣帝的猜疑也感到不安。杨坚为逃避周宣帝的猜疑，也想在北周动乱时握有实力，打算暂时离开朝廷，到地方上去掌实权。公元580年，时机到来了，周宣帝决定南伐。郑译便乘机向皇帝推荐了杨坚，由于皇帝对郑译向来都很信任，于是就任命杨坚为扬州总管。
不久，周宣帝病重，召见小御正刘防、御正中大夫颜之仪，准备托以后事。二人到时，周宣帝已经不省人事。然而，宣帝的长子宇文衍才8岁，年幼不能主政。刘防为以后飞黄腾达，便与郑译商议，共同拟定一个假诏书，称周宣帝让杨坚以皇太后父亲的身份总揽朝政，辅佐周静帝。杨坚握有诏书后，控制了京师卫戍军队，很快就基本控制了朝廷。
周静帝即位后，以杨坚为假黄钺、左大丞相，掌握军事、政治大权。杨坚深知自己的地位还不巩固，需要采取一系列措施。杨坚首先是建立自己的统治核心。杨坚自任丞相，设丞相府，拉拢真正具备政治才能的高频等一帮人作为自己的亲信。丞相府实际上已代替朝廷为真正的决策机构。杨坚利用掌握军权的司武上士卢贲，用军队的力量暂时压服了尚未完全清醒过来的朝廷百官。接着，他开始除掉皇室宇文氏的势力。杨坚初执政时，周宣帝的弟弟宇文赞仍以皇叔身份居上柱国、右大丞相职，在朝廷中与杨坚平起平坐。杨坚指使刘防把他劝回家中，不要过问朝政，答应以后由他做皇帝，只需在家里等。宇文赞年轻无才，信以为真。于是杨坚排除了皇室中潜在的干扰。
但这时真正的威胁是已经成年并各居藩国的宇文泰的5个儿子。他们既有实力，又有影响，一旦起兵，杨坚根本无法控制。在还没有公开宣帝的死讯时，杨坚便借口召他们回到长安，收缴了他们的兵权印符。宇文泰5个儿子与雍州牧毕王宇文贤联系，请他起兵，但宇文贤很快就被杨坚击败。杨坚明知是宇文泰5个儿子从中捣鬼，却假装不知，并允许他们剑履上殿，入朝不趋，以此安定他们。宇文泰5个儿子看到外面指望不上，便寻找直接刺杀杨坚的机会。结果，刺杀未遂后，杨坚将其一一歼灭。
然后，杨坚宣布废除周宣帝时的严刑峻法，停止洛阳宫的营建，以此取得臣民们的广泛支持。这样，杨坚在京师的统治已基本稳固。
接下来，杨坚一方面利用自己已经取得的政治优势拉拢地方将领，对反对者进行分化瓦解；另一方面，投入自己所能控制的全部军队，经过半年的战争，地方武装反抗被全部平定，杨坚控制了北周政局。
从辅政之日起，杨坚要做皇帝已是公开的秘密。在平定武装反抗的过程中，杨坚又为铺平做皇帝的道路采取了一系列措施：宣布自己由左丞相改任大丞相，废左、右丞相设置，不久改称相国；让自己的长子杨勇出任洛阳总管、东京小冢宰，监督东部地方势力；杨坚由随国公改称随王，以20州为随国，封独孤氏为王后，杨勇为世子，随王位在诸侯侯王之上；为进一步削弱宇文氏的影响，废除所有对汉人的赐姓，令其各复本姓，这一措施得到汉人的普遍拥护。
公元580年年底，杨坚做皇帝的准备工作已基本完成。581年，杨坚派人为周静帝写退位诏书，内容极力称赞杨坚功德，希望杨坚按照舜代尧、曹丕代汉献帝的典故，接受皇帝称号，代周自立。诏书由朝廷大臣捧着到随王府送给杨坚。杨坚假意推辞，经过朝廷百官的再三恳求，杨坚才假意同意接受。仪式结束，杨坚穿戴上皇帝的龙袍，在百官簇拥下坐上皇帝的宝座。
杨坚由继承父亲的随国公起家，进称随王，故把自己新王朝的国号定为随，他又感到随字有走字旁，与走同义，不太吉利，便改随为隋，改元开皇，以长安为首都。
杨坚在天下基本稳定、政治机构完善后，接受大臣的建议，采取了一系列改革措施，来进一步巩固自己的皇权。
突厥原是活动于中亚一带的游牧民族，后来东迁，活跃在蒙古草原。在北齐、北周时，突厥经常向内地侵扰。杨坚初执周政时，采取和亲政策，努力缓和双边关系。杨坚代周后，突厥力举南侵，攻略甘肃和陕北一带，杨坚于公元582年派杨弘、高频等率兵出击，打击突厥的侵扰。杨坚为阻止突厥南下扰民，多次征发民众大力修筑长城，并加强防御。后来，突厥分裂为东突厥和西突厥。西突厥向西面发展，东突厥接受隋朝的控制，北部边防渐趋巩固。
对于长期依附北周的后梁，杨坚开始时采取笼络政策；当经济和军事实力有较大发展并做好了统一江南的准备后，杨坚就不能容忍在自己的疆域内再存在独立王国。公元587年农历八月，杨坚邀请后梁帝萧琮到长安，借机派兵灭掉梁国。
杨坚建隋后，即开始做统一江南的准备。在巩固了内部，缓和了与突厥的矛盾和灭梁之后，公元588年秋，杨坚共发兵五十多万，东起海滨，西至四川，沿整个长江沿线水陆并进，向陈国发动大举进攻。这时，陈国总兵力有数十万之多，然而君臣整天生活在花天酒地之中，面对隋的全面进攻不甚重视。最终，后主陈叔宝及文武百官全部做了俘虏。南北朝时期持续两百多年的分裂局面归于结束，全国再次统一。
李渊称帝
李渊祖籍陇西成纪（今甘肃秦安），他的祖父李虎，是后魏的陇西郡公，官最高到太尉，死后追封唐国公，这就是后来李渊所建大唐年号的来历。李渊的父亲继承了唐国公的封号，在北周时任柱国大将军。在公元566年（北周天和元年）出生于长安，仅7岁就继承了唐国公的称号。因为有了较高的出身，加上他本人的豁达与宽厚、才干出众，因此他威望很高。他的妻子窦氏也是隋朝贵族出身，作为一名难得的贤内助，窦氏对李渊的作用不可忽视。
窦氏的聪明超出了一般人。隋炀帝看到李渊的脸上皱纹多，便戏称李渊是“阿婆”。李渊回了家很不高兴，窦氏问清原因，马上贺喜道：“这是吉兆啊，你继承的是唐国公，‘唐’便是‘堂’，‘阿婆面’就是指‘堂主’啊！”窦氏指的是李渊将来要做皇帝，取代隋炀帝。
窦氏在政治方面对李渊的帮助是非常大的。李渊原来有不少骏马，窦氏就劝他献给爱马的隋炀帝：“皇上喜欢鹰和马，您是知道的，现在应该把骏马献给皇上，不该自己留着，招人闲言诬陷。”李渊开始还舍不得他的骏马，后来真的被隋炀帝责问。窦氏在45岁时去世，李渊这才细细琢磨亡妻的话，觉得很有道理，于是就经常给隋炀帝送骏马鹰犬，隋炀帝果然异常高兴，很快升李渊为将军。李渊流着泪对儿子们说：“我如果早点听你们母亲的话，早就做上这种官了。”
李渊原来做过刺史，在隋炀帝即位之初做了荥阳（今河南荥阳）、楼烦（今山西静乐县）两个郡的太守，后来任殿内少监、卫尉少卿。公元613年（大业九年），隋炀帝征伐高丽时，李渊在怀远镇督运粮草。这时，杨玄感利用民愤举兵反隋，后来失败。在这期间，李渊奉命镇守弘化郡（今甘肃庆阳县），广交天下豪杰，遭到隋炀帝的猜疑。在615年调任山西、河东，到达龙门时，遇上了母端儿农民起义，李渊领兵击败了起义军，收编万余人，实力大增。第二年，他升为右骁卫将军，任太原道安抚大使，从此落脚太原，经营后来的起家之地。
镇守太原之初，李渊就表现出过人的军事谋略。隋炀帝从楼烦巡游到雁门时，被突厥兵包围，因为李渊的太原兵才得以解围。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少，不足五千。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥兵，向突厥炫耀武力，等和突厥兵遭遇时李渊便下令攻击，结果打败突厥。从此之后，突厥不敢再轻易南下了。
617年，李渊正式任太原留守，成为一地最高长官。这里粮草充足，兵员广阔，李渊在此扎下根来，开始积蓄力量。
李渊为了巩固太原这块根据地，北面和突厥交好，消除隐患，南面主要是镇压了历山飞起义军。李渊通过收编其残余，进一步壮大了自己的力量。
公元611年（大业七年），各地农民起义不断，全国共有近二百多支反隋起义军。后来逐渐形成三支主力，即窦建德领导的河北起义军，杜伏威领导的江淮起义军，李密、翟让的瓦岗军。
在617年，马邑郡（今山西朔县）人、鹰扬府校尉刘武周因为和太守王仁恭的侍女私通，怕被发现，便以贪污之名杀死了王仁恭，起兵建立定阳国，自称天子。
李渊就以讨伐刘武周为名，开始招兵。因为这时还是以隋朝官员的名义行事，所以在很短的时间里便招到近万人。这遭到太原副留守王威和高君雅的猜疑，他们都是隋炀帝的亲信，对李渊颇有戒心。李渊则拉拢、利用他们身边的亲信掌握其动向。等李渊要正式起兵时便设计锄掉了身边的两个隐患。
617年（大业十二年）农历五月十四日的夜里，李渊命李世民在晋阳（即太原）宫城外埋下伏兵。第二天早晨，李渊和王威、高君雅议事。刘文静领开阳府（太原十八府之一）的司马刘政会到庭中，说有密状给李渊。李渊便让他交上来，但刘会政却不交，说要告的是副留守，只有李渊才能看。李渊假装吃惊地说：“怎么会有这种事？”李渊看后便对大家说：“王威、高君雅要勾结突厥入侵。”于是命人逮捕了他们二人。第二天，恰好有突厥几万人围攻太原，这更使人相信了。李渊趁机将二人杀掉。
除了内患，李渊又智退突厥兵，然后与突厥和好，消除了北方的威胁。
杀掉王威和高君雅之后，李渊便和将士紧密防守，对付突厥。他命裴寂和刘文静坚守城门，同时又让大门洞开。城墙上不竖旗帜，守城士兵不许张望、喧哗，这使突厥不明底细，不敢入城。李渊又在夜里派兵出城，早晨改道进城，使突厥误以为是援兵到达。最后突厥只好退兵走了。李渊的军事智谋由此可见一斑。
突厥兵虽然退去了，但难保不再来。为了从根本上解决问题，李渊给突厥写了书信：“若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”信中为了稳住突厥，李渊委曲求全地用了臣下的语气，这样做也是为了给南下用兵扫除后顾之忧。事实证明，李渊的策略收到了预期的效果。
617年（大业十三年）农历七月，李渊率军三万誓师，正式起兵。在发布的檄文里斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾，“豺狼充于道路”，因此，李渊要废掉昏君隋炀帝，尊为太上皇，然后拥立代王杨侑为帝。其实，这仅仅是李渊的一种号召天下的策略。
这时，李渊刚从太原起兵，瓦岗军首领李密便写信给李渊，想和他结盟共图大计，实际上是想让李渊尊他为盟主。李渊收到信后，非常高兴，他当时正需要有人为他阻挡中原还没有被消灭的隋朝军队，使他免去后顾之忧，集中兵力拿下长安。于是李渊给李密回信，对李密极力吹捧，说自己没有取代隋朝之意，这就是李渊自己所说的“卑辞推奖以骄其志”的计策，先麻痹李密，让他阻挡中原的隋军西进。
李密受到李渊的回信也是非常高兴，于是专心于对付东面的隋军。一东一西，两个李姓人开始了较量，但李密最后还是稍逊一筹，败在李渊手下，还丢了性命。
在618年，瓦岗军和洛阳的隋军作战失利，李密想东山再起，却遭到了部将们的反对，他只好到长安投靠李渊。李渊热烈欢迎他，当成贵宾对待，常称李密为弟，还将表妹嫁给他。但后来李密又嫌弃官小，对李渊说想回山东收服部下，帮李渊拿下洛阳。
李渊表面上答应了他的要求，暗地里却派长史张宝德监视，等李密离开长安要出关时李渊却下令让他留一半兵在华州（今陕西华县）。这时，和李密同行的张宝德向李渊告密说李密要叛乱，实际是张宝德怕李密跑掉自己担不起责任。李渊便命李密一人入朝。李密感到大祸临头，便起兵想闯出关去，结果被围歼。在和李密的斗争中，李渊充分利用了李密骄傲自大的缺陷，在开始吹捧李密，等长安拿下后，李密投靠他时又设计除掉了这个隐患。
李渊在太原起兵之后，便以进军关中拿下长安为最终目标。西进的第一个障碍便是西河郡（今山西汾阳县）。李建成和李世民兄弟俩仅用了九天便得胜而归，使得李渊喜出望外。
然后，李渊建立了自己的基本的军事和政权机构：设置大将军府，自称大将军，长子李建成为陇西公、左领军大都督，统领左三军；李世民为敦煌公、右领军大都督，统领右三军；裴寂和刘文静为长史司马。
第二战是决战霍邑（今山西霍县）。在霍邑的西北有个贾胡堡，是霍邑的门户，但守卫霍邑的宋老生却没有派兵把守，李渊由此断定宋老生是个无能之辈。
李渊害怕宋老生守城不出，打成持久战对自己不利。李世民却认为可以挑战引他出来决战。于是李渊让两个儿子领几十名骑兵进城观察，自己将部队分成十几队，从城东南到西南，摆出一副安营攻城的架势。宋老生果然中计，以为李渊要攻城，便领兵三万出战。李渊领兵假装后退，让李建成和李世民领兵抢占了东门和南门，切断了宋老生的退路。在交战中李渊又散布宋老生已经战死的谣言，动摇了隋军的军心。隋军大败，全军覆灭。宋老生也在被守军用绳子往城墙上提时，被李渊的军头卢军谔跳起杀死。李渊顺利占领了霍邑。
此后，李渊又攻打河东，没有攻下。李渊听从了李世民直接入关中的建议，分兵攻长安。等围攻长安成功建立唐朝之后，又继续围困，到620年（唐高祖武德三年）农历正月才最终占领河东。
在招降长安失败后，李渊下令攻城，占领之后又下令禁止掳掠百姓，受到百姓们夹道欢迎。在617年（隋大业十三年）的农历十一月，李渊拥立隋代王杨侑为帝，即隋恭帝，改元义宁，尊在江都（今江苏扬州）的隋炀帝为太上皇，李渊为大丞相，封唐王，以武德殿为丞相府（所以后来李渊便以“武德”为自己在位时的年号），李世民为秦王。这实际是在为以后称帝搞一个过渡。
