原来，李建成和李元吉听说李世民将要到洛阳去，于是又私下里密谋道：“秦王如果去了洛阳，大权在手那就更难对付了，不如把他留在长安，还有机会把他除去。”
于是，李建成、李元吉二人让心腹不停向高祖上密奏，说秦王的部下听说要到洛阳去都很高兴，这次去了，可能就不会再回来了。这时，老糊涂的唐高祖又被这些人迷惑，竟然将秦王镇守洛阳的话抛掷脑后了。
李世民看到高祖一再听信谗言，就感到自己的处境很危险了。这时，李元吉又想出一个法子，想收买秦王府的骁将据为己用。李元吉平时最畏惧的是秦王府中的尉迟恭，于是就想从他开始下手。尉迟恭善于用槊，李元吉也经常用槊，于是他想要和尉迟恭比一比，谁知一比才知道跟尉迟恭相差太远。虽然心中很畏忌尉迟恭，但李元吉还是劝李建成和他结交，李建成私下里赠送金银一车给尉迟恭。
谁知，尉迟恭推辞道：“我尉迟恭出身微贱，在这乱世幸亏得秦王提拔赏识，现在我正想报他的知遇之恩，但是一直还没做到，很是愧疚。至于殿下前，我更是没有功劳，怎么敢拿你的财物呢？如果我私下受了殿下的好处，那就是怀有二心，这么不忠心的人，恐怕殿下也不会用我吧？”李建成被他问得没有话说，只好收回了金银。
谁知隔了几天，李建成、李元吉二人又派刺客刺杀尉迟恭，那刺客却被尉迟恭的气势吓跑了。李建成和李元吉看事情没有成功，就在高祖面前诬陷尉迟恭要造反。高祖竟然相信了他们话，要杀死尉迟恭，多亏李世民入朝求情，尉迟恭才免于一死。没有害到尉迟恭，李元吉又算计程知节，让高祖下诏，调程知节为康州刺史。
程知节对李世民道：“如果大王的股肱羽翼被砍了，那您就危险了。我程知节就是死也不去那里，秦王还是早做决定吧。”李世民还在犹豫不决，忽然又接到诏书，命令房玄龄、杜如晦两人出秦王府。于是，秦王府的幕僚都人人自危起来。
长孙无忌是李世民的大舅哥，他与房玄龄是莫逆之交，房玄龄秘密跟长孙无忌说道：“如今世民兄弟间的嫌隙已经形成，不是你死就是我亡，你是秦王的亲戚，还是劝他早定大计，保全家国，成败就在今日一举了。”长孙无忌把房玄龄的话转告李世民，李世民又召问杜如晦，杜如晦和其他秦王府的门客也劝李世民听房玄龄的话，早定大计，除了李建成和李元吉。只有李靖和李世勣两人不发一言。
这时，突厥又来侵犯边境。李建成推荐李元吉带兵讨伐，高祖同意了。李元吉请调尉迟恭为先锋，并且要把秦王府的精兵，全都调出去，讨伐突厥。尉迟恭急忙和长孙无忌等人，找到李世民，说道：“秦王如果还不做决定，恐怕会大祸临头了。”李世民道：“同是手足，怎么忍心下手啊？”这时，太子率更丞王晊突然来报，说齐王李元吉和太子李建成定计，要趁李世民给齐王饯行的时候，在席前埋伏好刺客，置李世民于死地。长孙无忌连忙劝李世民，说道：“先发者制人，后发者为人所制。还是请秦王快做决定吧！”李世民叹息，道：“骨肉相残，自古是大恶。我就是知道祸在旦夕，但也只能等对方先出手，然后再讨伐，这也让我出师有名啊！”
尉迟恭在一边催李世民，说道：“大王如果再不决定的话，我尉迟恭不能留居大王左右，束手就擒，就此告辞。”长孙无忌又道：“秦王不听尉迟恭的话，我也要跟他一起去。”李世民只好招幕僚商议，大家都说：“大王认为舜是个什么样的人？”李世民笑道：“舜是古圣人，这还要问吗？”众将又道：“舜帝和周公都有过类似的先例。事不宜迟，应当趁早下手。”李世民这才决定，于是秘密地让长孙无忌招来房玄龄和杜如晦，商议如何动手。
晚上，太白星划过天空。太史令傅奕密奏高祖，说太白星出现在秦王府上空，预示着秦王将会统治天下。高祖把奏折看完，刚好这时候李世民来拜见，高祖把奏折给李世民看。李世民请父皇屏退左右，把李建成和李元吉淫乱后宫的事告知了高祖。高祖听后，大惊说道：“有这样的事啊？”李世民又道：“儿臣自问丝毫没有做过辜负兄弟的事，但是他们二人却总是要加害我，还请父皇保护儿臣啊！”说完竟然呜呜咽咽地哭了起来。高祖气愤地说：“明天朕要当面审问这件事。”
李世民回府后，立即连夜调兵，命长孙无忌等人带领军兵，埋伏在玄武门。不久天亮了，李世民偷偷奏报高祖的事，张婕妤已经让内侍告诉了李建成和李元吉。李元吉对李建成道：“今天上朝，恐怕有变，我们假装说生病，不去了。”
李建成道：“宫内有妃嫔，外面有军兵，秦王虽然厉害，也不能拿我们怎么样，我们不如上朝探听一下。”于是，俩人骑着马穿过玄武门，来到临湖殿的时候，二人听说高祖已经召集裴寂、萧瑀、陈叔达、封德彝、宇文士及、窦诞等人临朝会审，就知道情况不妙，于是立即往回跑，眼看就要跑出玄武门，忽然听到背后有人叫道：“太子、齐王为什么不上朝啊？”李元吉回头一看，发现正是冤家李世民。李元吉也不回话，从弓袋中取出弓箭，连射三箭，但都被李世民闪过。最后一箭，还被李世民接住了。李世民接箭后，也取弓搭箭，回手向李建成射去，李建成以为他会射向李元吉，根本就没有防备，谁知飕的一声，李建成中箭，摔下马来。
李元吉也顾不得李建成，慌忙往外逃去。不料迎面碰到尉迟恭，又掉头跑。李世民正追着李元吉，不防李元吉会转头，刚好两人相撞都坠落马下。尉迟恭跑来，把李世民扶到屋里休息，然后去追李元吉。李元吉想要进武德殿见高祖，谁知后面弓弦一响，转身一看，来不及了，恰巧箭入咽喉，立即晕倒。尉迟恭抢步上前，拔刀砍下李元吉的首级，又回至建成尸旁，也将他首级枭下，蓦然听到玄武门外人喧马沸，就知道外面已经杀得翻了天。
尉迟恭催马来到门外，被东宫和齐王府的军兵拦下，不由得眼睛一瞪，喊道：“咄！你们看这两个首级是谁？”说着，就把李建成、李元吉二人的首级悬在槊上警示两军，并且又大声喊道：“我奉旨诛杀二人，如果你们敢违抗圣旨，那就跟他们同罪。还不快快解散，免得获罪！”东宫和齐王府两军看到那血淋淋的两颗首级的确是李建成和李元吉，又听到尉迟恭说着奉旨二字，于是更加觉心虚胆怯，随即一哄而散。
三个儿子都没有上朝，高祖还以为他们是怕彼此避面尴尬，也没怎么往心里去，匆匆散了朝，留裴寂、萧瑀、陈叔达等人在朝堂上待命，而自己带着妃嫔到海池中泛舟取乐去了。忽然，岸上有一个身穿铠甲的大将，手里持着长槊，匆匆跑来，高祖便喊道：“来的是什么人？”那大将随即下马，倒身下拜道：“臣是尉迟恭。”高祖道：“你来做什么？”尉迟恭答道：“太子和齐王造反，秦王起兵讨伐，担心惊动了陛下，特派臣来保护。”高祖感到很惊讶，连忙问：“卿快起来！太子、齐王现在在哪里？”尉迟恭起身答道：“已经被我斩首了。”高祖不禁大惊失色，就连在旁边的妃嫔也都吓得玉容惨淡，战战兢兢。高祖急忙派内侍去召裴寂、萧瑀、陈叔达等人来。
尉迟恭怎么会跑到后宫来呢？原来，尉迟恭吓退李建成和李元吉的人后，就跑到玄武门报知李世民，李世民问明事情缘由，说：“事已至此，我只好入宫谢罪了。”尉迟恭道：“且慢！皇上的意思我们还不知道，还是先让末将去打探下吧。”说着，尉迟恭就将两首级交给李世民，自己闯入朝堂，见到裴寂等人，就跟他说明事情的原委。裴寂说：“此事如何跟皇上说呢？”尉迟恭说道：“等我闯入后宫，去探明皇上的意思，宁可死的是我尉迟恭，也不能让秦王死。”说完，尉迟恭就闯到后宫去了。见到高祖，尉迟恭据实说明情况。
不久，裴寂、萧瑀、陈叔达等人跟着内侍赶来。高祖已经命令船靠岸，对裴寂等人说道：“没想到今天竟然出了这样的事，那现在该如何处置啊？”萧瑀、陈叔达齐声道：“太子和齐王从起义以来，没有立下什么功劳，反而一个立为储君，一个立为王爵，现在又无缘无故离间兄弟，祸乱家中，如今有这样的下场是他们自找的。只有秦王功盖天下，内外归心，为今之计，就趁这个机会立秦王为太子，授予他军政大权，陛下就可以休息下。”
高祖听了这话，转惊为喜道：“这正是朕的意思啊。”尉迟恭在一旁乘机入奏，道：“陛下既然愿意立秦王，现在外面还没有平定，请赶快下诏让秦王处理这件事。”高祖随即对宇文士及道：“爱卿快去写诏书，等朕回朝发落。”宇文士及领命即去。高祖又派尉迟恭去召秦王觐见，尉迟恭飞一样地出宫去了。
当时，正是武德九年六月，天气很炎热，高祖正开襟趁凉。李世民进来，慌忙跪地请罪，高祖抚慰道：“李建成和李元吉胆敢作乱，那也是死有余辜，不过毕竟是亲兄弟，发生这样的事，怎么说也是可悲的事啊。”李世民听到高祖这么说，于是一头扎进李渊怀里，痛哭了起来。高祖也忍不住落泪，父子二人对着哭。宇文士及和裴矩等人入宫，劝慰了他们一番，李世民这才回到府里。
秦王府的人劝李世民，说道：“斩草不除根，恐怕会留下后患，李建成和李元吉的儿子也应该杀了。”李世民没有制止，于是李建成的儿子安陆王李承道、河东王李承德、武安王李承训、汝南王李承明、巨鹿王李承义和李元吉的儿子梁郡王李承业、渔阳王李承鸾、普安王李承奖、江夏王李承裕、义阳王李承度都被抓住，全部被处死。秦王府的幕僚还要继续搜捕东宫余党，一百多人被列入搜捕范围，李世民也不制止，尉迟恭极力谏阻，说道：“有罪只有二人，如今已经被诛杀了，不宜再伤及其他人。若辗转牵连，恐怕反而会激成祸乱，不得安生了！”
李世民于是向高祖请旨大赦。高祖颁发了赦免的诏书，又诏立李世民为皇太子，国家大事，都归皇太子处理。
太子洗马魏征曾劝李建成早点除掉李世民，李世民知道后，召魏征进见。谁知，魏征对着李世民，只是作揖却不跪拜，李世民很是生气，严厉斥责道：“你为什么离间我们兄弟？”魏征坦然说道：“如果先太子早点听我的话，现在就不会被杀了。这不过是各为其主罢了。”李世民听了这话，转怒为喜，认为魏征是忠直之士，于是封他为詹事主簿。李世民又召回王珪、韦珽、杜淹等人，命王珪与魏征同为谏议大夫。
后来，庐江王李瑗被查出曾与李建成密通书信，想要谋害李世民，于是，李世民派通事舍人崔敦礼召李瑗进京审问。崔敦礼来到幽州，看到李瑗，只说是奉旨召他入朝，并没有对他说明是什么事。李瑗已经自觉心虚，连忙招来将军王君廓商议。庐江王李瑗本是高祖李渊的堂弟，曾与赵郡王李孝恭一同讨伐萧铣，但是没有立什么功，于是移调洛州总管，后来，因为刘黑闼侵犯弃城逃走，高祖顾念亲情，不忍心怪罪他，于是改任他为幽州都督，担心他不能胜任，特地派右领军将军王君廓区辅佐。王君廓以前是个盗贼，非常勇猛，投降大唐后多次立下战功，李瑗把他当作心腹，并且跟他结亲，有什么事就跟他商量。谁知，王君廓只是把李瑗当作奇货，想要借他讨好新太子。于是，王君廓先鼓动李瑗造反，然后又以讨伐叛贼的借口把他杀了，并把他的首级献到京城。李渊不知道事情真相，信以为真，于是传旨把李瑗贬为平民，并升王君廓为幽州都督。
