酣睡了好长时间，李渊才朦朦胧胧地清醒过来，突然鼻中闻到一股异香，似兰非兰，似麝非麝，不由得很好奇。李渊揉开双眼，左右一看，猛然发现床上竟躺着两位美人，李渊很是吃惊，心想：“这是怎么回事？”
正在李渊胡乱猜想的时候，一位美人开口说话了：“唐公不要生气，这是裴副监的主意。”李渊又问她们姓什么，叫什么名字，老家是哪里的。两位美人，一个说自己姓尹，另一个说自己姓张，两人都说是宫女。
李渊大惊失色，赶紧披上衣服，一跃而起，说道：“你们原来是宫中的贵人啊！我怎敢跟你们同床共枕，我这是犯了死罪啊！”两位美人听李渊这样说，连忙劝慰李渊：“皇上失德，荒淫无道，而且自从南巡后，一直都不回来。现在各处都兵荒马乱，我们如果没有大人的保护，想必也会遭他人侮辱。所以，裴副监特地嘱咐臣妾等人，早日托身大人，才能保住性命啊！”李渊频频摇头，说：“这可怎么得了啊！”边说边慌慌张张地往外走。
刚出门没几步，就遇着裴寂，李渊将裴寂一把扯住，一连数声，呼喊裴寂的表字，说道：“玄真啊玄真！你这是要我命啊！”裴寂笑道：“唐公！你为什么这么胆小啊？收纳一两个宫人是件小事，就是那大隋的江山，只要你想要也是唾手可得。”
李渊听了这话，吓得半死，连忙说：“你我都是杨氏臣子，怎么能口出叛言，自己惹上灭门大祸啊？”裴寂又说：“识时务者为俊杰。如今，皇帝昏庸无能，百姓穷困，中原大地已经群雄逐鹿，就连晋阳城外，也快成为战场了。唐公手握重兵，令郎广交英雄，为什么不趁机起义，安抚百姓，讨伐暴君，趁此机会经营帝业呢？”李渊小声嘀咕，道：“我李家世代承蒙国恩，不敢叛变啊！”
裴寂还想劝李渊，突然，有一士卒前来禀报，说道：“突厥兵到马邑（今山西省朔州市）了，请留守大人快点回署发兵，抵抗外寇！”
李渊听了这话，连忙往回赶。这时，太原副留守王威，高君雅等人早就已经等着了，李渊连忙与他们两人商议对策。最后，李渊决定派高君雅率领一万兵马，前去马邑救援，高君雅领命而去。
李渊回想起晋阳宫的事，担心得好几天寝食不安。随即，李渊又接到马邑军报，说马邑太守王仁恭，出战不利，高君雅也战败了。李渊急得没办法，退到内室，独自呆坐着。
突然，一个少年进入内室，开口就对李渊说：“大人现在不想想计策应对，还要等到什么时候啊？”李渊听了这话，抬头一看，发现来人是二儿子李世民，于是问道：“你有什么计策？”
李世民趁机低声劝父亲，说道：“如今天下大乱，朝廷朝不保夕。大人如果再守小节，还这样迟迟不动，到时下有寇盗，上有严刑，很快就会大祸临头了。大人只有顺应民心，兴兵起义，才能转祸为福呢。”
李渊听了这话，非常生气，对李世民说：“你别胡说八道！小心我把你抓去报官，免得牵累我。”李世民说：“儿子观看天时人事，现在形势已经到了这个地步，所以才敢说这些话。如果大人想把儿子送去官府，儿子也不敢不死。”李渊叹息道：“你是我的儿子，我怎么忍心去告发你，置你于死地，但是你以后说话不要再这么轻率了！”话虽这样说，但此时李渊已经心动了。李世民听见父亲这样说，就从父亲房中快步退了出去。
过了几天，贼寇入侵的警报越来越紧急，李世民又进入内室劝父亲，说道：“现在盗贼日益猖獗，遍布天下，父亲受命讨伐贼寇，可是您想想，这些贼寇怎么可能全部灭掉呢？如果贼寇不能扫除，父亲您就难免获罪。况且，民间盛传李氏当兴，皇上现在对姓李的人非常忌惮，郕公李浑即使没有罪，但是皇帝还是把他杀死，并诛灭了他的族人。父亲如果真把盗贼都灭了，恐怕也会功高盖主，李家更加危在旦夕。儿子想了好久，还是觉得只有昨天的计议才可以免祸，请大人不要再犹豫了！”
这时，李渊镇定下来，说道：“我昨晚也细细想了一宿，你说的话也有道理。是福是祸由你来决定吧，我也做不了主了。但是，现在我们的家人还在河东，这件事还是要从长计议，不能太急，我们还要慢慢筹划。”
李世民说：“父亲既然这样说，我立刻派妥当人去接家人。”李渊点头应允。李世民从内室出来，连忙派人快马加鞭，前往河东去接家人。
正在悄悄安排的时候，江都又传来消息，吓得李渊魂不附体。原来，隋炀帝因为李渊不能抵御贼寇，特派使臣来到太原，要捉拿李渊问罪。李渊心急如焚，连忙招来副宫监裴寂和二儿子李世民，一起商议对策。
裴寂进言，说：“明公（旧时对有名位者的尊称），我前几天一直劝您，就是担心这个祸事，眼下情况紧急，不能再犹豫了。古人有言：‘先发制人，后发被人所制’。请明公三思！”裴寂说到这里，李世民接过话茬，说：“当今皇上昏庸无能，我们不能无谓地尽愚忠。偏将出师不利，就要加罪于主帅，这种国法太荒谬！既然主上不守法，臣下也不需要再去守法了。”
李渊叹了叹气，说：“如果我们弄巧成拙，没有成功，那该怎么办啊？”裴寂应声说道：“大可不必忧虑！晋阳兵强马壮，主公又蓄积巨万资财，起义之事还担心不成吗？如今代王杨侑留守关中，他是隋炀帝的孙子，年龄太小，关陇豪杰正想着选其他的明主跟随。如果主公现在发动起义，率领大军向西进发，招抚各路群豪，拿下关中如拾草芥一般容易，为何要甘心被人囚禁，白白送死呢？”
李渊还是迟疑不决，裴寂又逼近一层，说道：“前几天，我让两位宫人服侍大人，已经是死罪了。二公子担心事情暴露，因此时常戒备，如今朝廷又因为剿寇的事拿大人问罪，如果两罪并罚，我裴寂是死不足惜，但是大人是要被诛灭九族的啊！”这一席话终于说得李渊死心塌地，决定起义。
不久，有人来报钦使已到，李渊推说病重不能起床，让钦使到官署暂时住下，说等病好点就来接旨。钦使因为李渊手握兵权，不敢抗议，只好忍气吞声，在官署等待。
李渊和李世民等人暗地里部署，想杀掉钦使祭旗，然后马上率兵出发。这时，江都又传来赦免的圣旨，说是让李渊照旧供职，戴罪立功。李渊这才出来接了诏书，并且盛情款待了前后两位使臣，临行前又馈赠了使臣许多财物。这下李渊稍稍放心，把起义之事又拖了好几天。
裴寂和李世民总是催促李渊，李渊这才重新提起起义之事。李世民保举刘文静，说他足智多谋，可以请他作参赞谋士，于是，李渊秘密地召刘文静出狱。刘文静见了李渊，立即献上一计，让李渊假传圣旨，召令太原，西河，雁门，马邑等地的百姓，凡是年满二十的都要参军，东征高丽。这道假圣旨发下去，百姓怨声载道，都恨不得那隋朝皇帝快点死去，才能解心头之恨。
不久，贼寇刘武周占据了汾阳宫。李世民又来劝李渊，说道：“父亲身为留守，却让盗贼刘武周占据了离宫，恐怕我们还没起事，大祸就要临头了。”李渊说：“这我也知道，只是家人还没到，所以才不敢行动。”李世民道：“父亲不用担心，家人已经启程了，想必这几天就要到了。眼下事情迫在眉睫，父亲要赶紧部署才好啊！”李渊皱眉道：“我担心兵力不足，一时不能起事。”李世民听了这话，连忙走近一步，对李渊耳语几句，李渊连声说好。
计划已定，李渊立即召集将佐议事。王威等人得到命令，全都过来了。
李渊升起军帐，说道：“现在刘武周占据了汾阳宫，我军还没去讨伐他们，这是灭族之罪，如何是好？”王威等人一起说道：“我们一切听从留守大人的命令。”
李渊又说：“朝廷用兵，按例必须要禀报节度使，现在贼寇就在几百里之内，而江都在三千里之外，真是远水救不了近火，进退两难，所以我也不知如何是好。”王威等人齐声道：“大人位兼亲贤，应该与国家共存亡。如果禀报朝廷之后再用兵，恐怕会误了事机。目前最重要的事就是讨伐贼寇，所以一切举措，大人不妨自己决定。只要能把贼寇灭掉，那么皇上肯定不会怪罪大人的。”
李渊假装想了想，过了一会儿说：“既然大家都这么说，那我就只能自作主张了。但是，现在突厥还没退兵，刘武周又来侵袭，眼下我们兵力不足，应当立即招募新兵。”王威等人都说：“这确实是第一紧要之策。”李渊又道：“刘文静在这里当了多年的县令，很了解本地民情，我想这招兵买马的事非他不可。我想暂时把他放出来，负责这件事，你们觉得如何？”大家都非常赞同。于是，李渊让人把刘文静从监狱里放出来，命他招兵买马，并让王威等人暂时退下，等候下一步的命令。
王威等人退去后，李渊命池阳人刘弘基、洛阳人长孙顺德两人协助刘文静募兵。王威等人听到这个消息后，心中不免起了疑心。
原来，这刘弘基曾做过右勋侍，长孙顺德也做过右勋卫，他们二人本来是在隋炀帝左右，只是因为隋炀帝出征辽东，二人不愿意随行，于是逃亡到了晋阳，暂时在此居住。还有一个让人心生怀疑的原因是，李世民的妻子是已故骁卫将军长孙晟的女儿，而长孙顺德就是长孙晟的族弟。此次让刘弘基、长孙顺德二人协助募兵，显得形迹可疑。而且，此次陆续招募的新兵都归他们二人统领，并没有派给其他将领，这让王威更加怀疑，于是，王威就去问行军司铠武士彟是怎么回事。
武士彟是文水人，此人是李渊的心腹，曾经劝李渊兴兵起义。王威偏要去问他，士彟当然为李渊辩解了。王威又说：“其他的事也就罢了，只是这长孙顺德和刘弘基二人是朝廷的逃犯，为什么要他们统兵呢？我还想把他们依法处置了。”
武士彟说：“这两人都是唐公的门客，你如果把他们处置了，唐公肯定不同意的，你这不是自寻烦恼吗？”王威听了这话，感到很沮丧，也不敢有什么异议了。这时，高君雅回城求援，与王威相见，王威悄悄地跟高君雅说出自己的疑惑。高君雅也觉得事情可疑，于是他们打算找机会诛讨李渊。
这时，晋阳正遇上干旱，李渊打算到晋祠求雨，提前几天就下令斋戒。王威认为时机到了，于是和高君雅设计除掉李渊。但士兵大多被李渊统领，王威无法调遣，没办法，王威只好让晋阳乡长刘世龙，召集乡兵，埋伏在晋祠中，准备刺杀李渊。刘世龙假装同意，但却暗中告知了李渊。
李渊连忙召李世民商议。李世民说：“王、高两人死期就到了，儿子正要把这两人除掉，他们却自己前来寻死，真正凑巧。”于是，李世民和李渊秘密定下计策。
第二天一早，李渊来到议事堂，邀王威，高君雅二人一起议事。忽然，开阳府司马刘政会前来告密，李渊向王威使了个眼色，让他接密信审读。王威立即命刘政会把密信呈上来，但是刘政会抗议，说道：“我所告的人就是副留守王威，因此，只有唐公才可以取阅。”李渊假装很惊讶：“有这样的事？”
于是，李渊亲自取过密信。只见信上写着“副留守王威、高君雅暗地里引突厥来攻城”等话。李渊立即把信递给王威，很是不高兴。王威没等看完，就捋起袖子，大声骂道：“哪里来的叛徒，竟敢来诬陷我们二人？”李渊冷笑，说道：“叛徒不叛徒，问你们两人就知道了。”
王威和高君雅感到事情不妙，一起赶紧往外跑，刚一出门，就被军兵包围了。李世民指挥刘文静、刘弘基、长孙顺德三人，抓住王威、高君雅二人，将二人送入大牢。
过了两天，果然有数万突厥兵来攻打晋阳。李渊命裴寂等人分头埋伏，大开四面城门，让城内城外畅通无阻。突厥兵冲进外城，看到内城大开着城门，都感到很惊讶，面面相觑，不由得起了疑，喧闹了一段时间，突厥兵竟出城离去了。
于是，李渊将王威，高君雅二人绑到闹市，对军兵和百姓们说：“就是这二人把突厥兵招来的，你们觉得他们该杀吗？”百姓信以为真，都说该杀。于是，李渊一声令下，两颗血淋淋的人头就落了地。
没过多久，突厥兵又来攻城，李渊派部将王康达等人，率领一千多名骑兵出战，没想到被突厥兵杀得全军覆没，城中百姓都很恐惧。李世民想了一个计策，派将士晚上偷偷地出城，等到天一亮，让他们张旗鸣鼓，喊呐着奔城而来。突厥兵以为是援兵来了，连忙退走。有些城外居民被突厥兵掠夺，而城内却不损分毫。军兵百姓都满是欢喜，李氏父子也松了一口气。
更让李氏父子高兴的是，李氏家眷已经全都从河东到达晋阳。这时，窦夫人已经过世了，李渊的妾室万氏等人、儿子李建成、李元吉等人和女婿柴绍全都来了，一同入堂拜见。全家人都相聚了，大家都很高兴。只有三儿子李玄霸在老家病死了，还有李渊的小妾万氏的儿子李智云，在路上失散了，现在生死未卜，所以，欢聚中还是有点悲伤。
李渊问柴绍怎么一起来了？柴绍答道：“小婿本寄居长安，在东宫任千牛卫，侍卫太子。二舅哥写密信让小婿来这里，我就来了。路上刚好遇到岳父的家人，就一起过来了。”李渊不等他说完，连忙问道：“我女儿一起来了吗？”柴绍说没有来。李渊责备李世民，说：“你既然召你姐夫来，为什么不叫你姐姐一起来？”柴绍连忙替李世民辩解，说：“令爱说自己不方便同行，自有妙计可以避祸。”李渊又道：“只要她平安无事，我就安心了。只是我的儿子李智云，只有十几岁，这次失散了，现在都不知道他在哪里啊！”柴绍劝慰道：“吉人自有天相，岳父不用太担心。”
家人都来了，李世民随即劝李渊赶紧准备出兵，说道：“我们现在必须趁人不备，快点商议出兵的事，以免夜长梦多。”李渊听了这话，立即召集刘文静，裴寂等人一同商议出兵对策。
刘文静说：“出兵不难，就是担心突厥时来侵袭，对我们造成牵掣。为今之计，倒不如先跟突厥通好，然后举兵不迟。”李世民接着说：“暂时只能这样了。”于是，刘文静写信给突厥，大致说了“我眼下准备起兵，远迎主上，并且准备和贵国和亲通好，就像文帝时候那样。如果大汗肯发兵，助我南行，那请大汗不要侵犯我朝百姓，如果大汗愿意和亲，坐收财物，也唯可汗之命是从”之类的话。草稿写完，李渊亲自录写了，派刘文静为使臣赶赴突厥。
刘文静去突厥还没回来，李渊不便仓促发兵，只能整军以待。闲暇时，李渊屡屡想起了失散的儿子李智云，便多次派人到河东打听儿子的下落。后来，被派出去打听消息的人回来报告，说智云被官吏押送到了长安，被留守阴世师杀害了。李渊十分伤痛，裴寂等人都来劝解。李渊含泪说道：“玄霸自小就很聪慧，活了十六岁，谁知病死了，这也是命中注定，人力无可挽回的事。但是，智云非常善于骑射，书法也写得不错，还比玄霸小两岁，没想到被官军抓到，惨遭杀害。我的宏图大业还没实现，我的儿子就先死了，这真是人生一大痛事啊！”说完，李渊泪流不止，裴寂等人也连连叹息。
忽然，有人来报，称刘文静从突厥回来了，李渊当即召他见面，询问情况。刘文静说：“突厥主始毕可汗说一定要请唐公自己当皇帝，他才肯兵马相助。”裴寂一跃而起道：“突厥都同意唐公当皇帝，大事成了。”李渊听了这话，立即转悲为喜，但是嘴上还是再三推托，不敢称帝。
裴寂站起身，说：“机不可失，失不再来，必须好好抓住这个机会。”刘文静也说：“如今军兵虽然招齐了，但我们的战马还是不足。我们现在急需突厥的战马，若一直拖着不答复突厥，突厥一旦反悔，便失去了一个很好的援助了。”李渊还是推脱，又问：“大家还有什么其他的办法吗？”裴寂答道：“如果大人实在不想称帝，那就尊称当今皇上为太上皇，另立代王为皇帝，暂时安定一下隋室。另一边，我们传檄天下，改旗易帜。这样，表面上向突厥表明您有称帝的意思，免得引起突厥的怀疑。”李渊说道：“这也是掩耳盗铃，但事已至此，也顾不得那么多了。”于是，李渊又让刘文静前去告知突厥，并与突厥约定，共同攻打京师，事成后一同分享利益，土地归唐公，财物和美女归突厥。
始毕可汗非常高兴，立即先派使臣到晋阳，赠送给李渊一千匹马。李渊很欣慰，再写信给突厥时，竟然卑躬屈膝地以外臣自称。
李渊和突厥通好后，马上到处传布檄文，宣布起义的消息，自号义军。谁知，西河郡丞高德儒坚决不买账，于是，李渊派儿子李建成和李世民率兵攻打西河。
李世民不仅跟军兵同甘共苦，而且，李世民要求义军对沿途的百姓秋毫无犯，百姓的蔬菜和水果，不出钱买下绝对不吃，百姓对义军大加称颂。义军来到西河城下，高德儒闭门坚守。李世民带军猛攻，而且自己身先士卒，冒险登城。李建成紧跟他的后面，很快就把城池攻下了，并抓住了高德儒。高德儒被斩首示众，除他之外，义军没有杀任何其他人，并且让百姓各安旧业，远近的百姓都对义军交口称颂。随后，建成和世民两人带兵返回晋阳，这一来一去只花了九天。李渊非常高兴，说：“如果这么顺利，那么征服天下也不是件难事。”
李渊决定入关，于是再次招兵。李渊命人打开粮仓，赈济贫民，一时间，老弱病残领粮，壮丁入伍，很是壮观。裴寂等人为李渊上尊号，称为大将军，于是，李渊建公府，选官员，按照各人的才干分别封了官职。
其中，裴寂被任命为长史，刘文静任司马，唐俭、温大雅任记室，并且让温大雅和弟弟温大有两人共掌机密。武士彟任铠曹，刘政会、崔善和张道源任户曹，姜謩任司功参军，殷开山任府掾，长孙顺德、刘弘基、窦琮，和王长谐、姜宝谊、阳屯为左右统军，其他的人也按照各自的才干，授予了职务。
另外，世子李建成被封为陇西公，兼左领军大都督，李世民被封为敦煌公，兼右领军大都督，二人都被允许自建官署。柴绍被封为右领军府长史咨议，刘瞻被封为西河守。部署完毕后，人人各司其职。长史裴寂把晋阳宫内储藏的九百万斛粮草，全部移送大将军府，还把五百匹各色布帛，四十万副铠甲也一并移交过来，并把尹、张两美人以外的所有宫女全都送到军府内服役，从此，唐公李渊真正得到了尹、张两位美人。
这一年是隋炀帝大业十三年，初秋，秋风送暑，天气转凉。李渊亲自率三万军兵从太原出发，让小儿子李元吉留守晋阳宫。李建成和李世民等人一同跟随出征。义军誓师后，向各地传发檄文，只说要尊代王为帝，所以出兵。
义军走到半路，前队探兵突然来报，说隋将宋老生、将军屈突通，奉代王杨侑的命令，分兵抗拒义军。屈突通率军留驻河东，宋老生已经领兵到霍邑了。李渊道：“我们先向霍邑进兵，其他的事等到了再说！”于是，各军奉李渊命令，继续驱马前行。
