话说刘裕制订计划后，就与何无忌借口外出打猎，号召有义之士加入，共召集了一百多人。其中最有名的大约有二十多个，除了何无忌、刘毅以外，还有下面这些人：
刘道怜（刘裕的弟弟）、魏咏之、魏欣之（魏咏之的弟弟）、魏顺之（魏欣之的弟弟）、檀凭之、檀祗隆（檀凭之的弟弟）、檀道济（檀凭之的叔叔）、檀范之（檀道济的堂哥）、檀韶（檀凭之的侄子）、刘藩（刘毅的堂弟）、孟怀玉（孟昶的族弟）、向弥、管义之、周安穆、刘蔚、刘珪之（刘蔚的堂弟）、臧熹、臧宝符（臧熹的堂弟）、臧穆生（臧熹的侄子）、童茂宗、周道民、田演、范清。
这二十多个人都有勇有谋，刘裕命他们担任前锋。何无忌冒充敕史，骑马挥鞭进了丹徒城，其余人紧随在后。桓修丝毫没有察觉，他听说有敕史到来，便走出署门迎接。何无忌见到桓修，没有和他说话，立即拔出佩刀，将桓修杀死。随后，何无忌一行人大喊：“讨伐逆贼。”丹徒城的官兵被吓得四处逃散，完全不敢抵抗。这时，刘裕骑马进了府署，他下令张贴告示，安抚受惊的百姓，将桓修收殓入棺，运到城外埋葬。随后，刘裕任命刘穆之为府署的新主簿，又指派刘毅前往广陵，通知孟昶和刘道规举兵响应。
孟昶回到长陵，便和刘道规去见桓弘，假意和他约定第二天同去打猎。第二天清早，孟昶等人率领数十名壮士守在府署门前。等到府门一开，他们便立即闯了进去。桓弘正在喝粥，刘道规持刀冲到他的面前，一刀把他杀死。随后，刘道规和孟昶便召集人马渡江，去和刘裕会合。
徐州司马刁弘听闻丹徒发生事变后，他便率领手下来此地打探虚实。刘裕登上城楼，假意对他说道：“郭江州已经在寻阳侍奉皇帝归顺朝廷了，我们奉密诏在此地诛杀叛党。今日叛贼桓弘的首级已经公之于众，你们都是晋朝的臣子，怎会无缘无故来到这里？”刁弘听信了刘裕的话，便立即率众人退去。
正巧，刘道规和孟昶率领一千多人马从广陵也赶到了这里，刘裕立即命令刘毅去追杀刁弘。待刘毅回来报告情况后，刘裕又命他写信通知其兄长起兵。原来刘毅的哥哥刘迈在建康当官，他刚被桓玄任命为竟陵太守，正准备收拾行装时，收到周安穆送来的书信，他有些犹豫不决。周安穆见刘迈有所怀疑，担心他走漏消息，给自己带来杀身之祸，便匆匆向刘迈告辞，就连王元德、辛扈兴、童厚之等人也没来得及告知。刘迈一时难以决定，他打算连夜乘船到竟陵去上任，借此躲避祸端。这时，桓玄派人送来一封信，信中他说最近看到刘裕，也不知其现在的立场和态度，让刘迈到任后，留意刘裕的举动并如实禀报。可刘迈偏偏误解了信中的意思，还以为桓玄已经觉察到刘裕的阴谋，他不得不去向桓玄坦白。天刚一亮，他便立即入朝向桓玄禀报实情。
桓玄听说刘裕已经造反，不禁大惧，便当面封刘迈为重安侯。等刘迈拜谢退下后，这时有人向桓玄举报刘迈，说刘迈私自放走了周穆安，他们肯定是同谋。于是，桓玄把刘迈关进监狱，一并逮捕王元德、辛扈兴、童厚之。同时，桓玄召见弟弟桓谦和卞范之等人，商议共同抗击刘裕。桓谦请求立即发兵，而桓玄想在覆舟山屯集兵马，等候刘裕。直到桓谦等人再三请求，桓玄才命令顿邱太守吴甫之、右卫将军皇甫敷在北边阻击刘裕队伍。
刘裕听闻桓玄已经发兵，他也顺势而起，自称总督，掌管徐州所有事务，随即任命孟昶为长史，守住京口。他又集合两地部队一千七百余人挥师南下，同时让何无忌起草一份檄文，声讨桓玄的罪行。
何无忌正连夜赶写檄文，他的母亲刘氏看到后，流着泪对他说道：“我虽然比不上东海的吕母，但你能做到这样，我也没有遗憾了。”何无忌写好檄文后，第二天一早便呈给刘裕。刘裕看完后，立即命人将檄文张贴到各处，檄文大意如下：
夫成败相因，理不常泰，狡焉肆虐，或值圣明。自我大晋，屡遘阳九，隆安以来，国家多故，忠良碎于虎口，贞贤毙于豺狼。逆臣桓玄，敢肆陵慢，阻兵荆郢，肆暴都邑。天未忘难，凶力繁兴，逾年之间，遂倾里祚，主上播越，流幸非所，神器沈辱，七庙毁坠。虽夏后之罹浞、殪，有汉之遭莽、卓，方之于玄，未足为喻。自玄篡逆，于今历年，亢旱弥时，民无生气，加以士庶疲于转输，文武困于版筑，室家分析，父子乖离，岂惟大东有杼轴之悲，摽梅有倾筐之怨而已哉！仰观天文，俯察人事，此而可存，孰为可亡？凡在有心，谁不扼腕？裕等所以椎心泣血，不遑启处者也，是故夕寐宵兴，搜奖忠烈，潜构崎岖，险过履虎，乘机奋发，义不图全。辅国将军刘毅，广武将军何无忌，镇北主簿孟昶，兖州主簿魏咏之，宁远将军刘道规，龙骧参军刘藩，振威将军檀凭之等，忠烈断金，精白贯日，荷戈奋袂，志在毕命。益州刺史毛璩，万里齐契，扫定荆楚。江州刺史郭昶之，奉迎主上，宫于寻阳。镇北参军王元德等，并率部曲，保据石头。扬武将军诸葛长民，收集义士，已据历阳。征虏参军庾颐之，潜相连结，以为内应。同力协规，所在蜂起，即日斩伪徐州刺史安城王桓修，青州刺史桓弘。义众既集，文武争先，咸谓不有统一，则事无以辑。裕辞不获命，遂总军要，庶上凭祖宗之灵，下罄义夫之力，翦馘逋逆，荡清京华。公侯诸君，或世树忠贞，或身荷爵宠，而并俯眉猾竖，无由自效，顾瞻周道，宁不吊乎！今日之举，良其会也。裕以虚薄，才非古人，受任于既颓之连，接势于已替之机，丹忱未宣，感慨愤激，望霄汉以永怀，盼山川以增伫，投檄之日，神驰贼廷。檄到如律令！
檄文中所说的多半都是虚张声势，皆非实情。郭昶之何曾反正？王元德也被诛，还有诸葛长民根本没有占领历阳。不过以讹传讹，也把恒玄等人吓得不轻。自从刘裕起兵后，桓玄常常惊慌失措，有人说刘裕这帮人就是一群乌合之众，成不了什么气候，何足惊慌？桓玄却摇着头说道：“刘裕乃当世英雄，刘毅家中没有一粒粮食，但在赌博时却一掷百万，何无忌也特别像他的舅舅，这些人聚在一起共谋大事，怎么可能成不了气候呢？”果然警报频繁传来，吴甫之败死在江乘，皇甫敷败死在罗洛桥，而刘裕的部队只丧失了一个檀凭之。于是，桓玄急忙派遣桓谦驻守东陵、卞范之驻守覆舟山西部，两军共计两万人。
刘裕率军来到覆舟山以东，他先让部队饱餐一顿，然后把剩余的粮食丢弃，发誓若不拿下覆舟山，绝不活着回去。刘毅手持长矛先行，刘裕也手握大刀紧随其后，将士们也踊跃随后跟上，他们骑马冲入敌军阵营，一当十，十当百，杀喊声震耳欲聋。这时，正好刮起大风，刘裕顺风点火，一时间烟熏缭绕，火焰冲天，将桓谦、卞范之的两支军队烧得焦头烂额，死伤大半。桓谦和卞范之吓得先后奔逃，刘裕率领众人随后追击。桓玄知道刘裕的部队难以阻挡，所以他事先安排殷仲文在石头山备下逃生的船只。当桓玄接到桓谦战败的消息后，他急忙让儿子桓升赶到石头城下，乘船逃往江南。此时，刘裕乘胜追击，一直追到建康。
现在，建康已成无主之城。刘裕入城后，张贴告示，安抚民心。刘裕担心大部队会惊扰到城中的百姓，于是把部队转移到石头城，并且将桓氏的祖庙捣掉，另外建造晋朝的祖宗牌位，把他们供奉在太庙。随后，刘裕派遣刘毅率领部队继续追击桓玄，命令尚书王嘏率领文武百官去恭迎圣驾，同时下令搜捕、诛杀城内的桓氏族人，又派臧熹去皇宫搜寻图籍器物，将其封存于府库。
司徒王谧原本是桓玄的爪牙，他在桓玄篡位时，亲自解下晋安帝的玺绶献给桓玄。刘裕的手下都劝他杀死王谧，但刘裕说王谧是他的朋友，少年孤贫时曾帮自己偿还过债务，实在不忍心杀他，仍令他做官。王谧向刘裕贡谀，推举刘裕为扬州各路人马的统领，刘裕没有接受。随后，刘裕任命王谧为侍中，让他管理扬州的事务。王谧又推举刘裕做了杨、徐、兖、豫、青、冀、幽、并八州都督，同时兼任徐州刺史。刘裕做了都督后，便任命刘毅为青州刺史、何无忌为琅琊内史、孟昶为丹阳令、刘道规为义昌太守，并委派刘穆之制定国法军规。在短时间内，把所有事情安排得如此妥当，刘裕的能力着实令人佩服。
诸葛长民把起义的事情延期了，他也因为计划泄露而被抓。刁逵不知建康已易主，他把诸葛长民关进囚车，安排特使押解进京。押送途中听到桓玄兵败逃亡的消息，而且建康已经被刘裕占领，特使也乐得送个人情，立马把诸葛长民放回历阳。历阳的人马乘机起兵围攻刁逵，刁逵溃败逃走，路上正巧碰到诸葛长民，被他当场拦住。这时，城中的士兵追杀过来，任你刁逵再怎么刁钻，也只能是束手就擒了。随后，刁逵被押往石头城，一刀毙命。
桓玄逃到寻阳，刺史郭昶之为他提供衣食车马，他仍然自称楚帝，在寻阳作威作福。后来，桓玄听说刘毅的人马一路追杀，已经兵临城下，他又吓得惊慌失措，连忙派遣部下庾雅祖、何澹之领兵去堵住湓口，自己则挟持着东宫的一帝二后向西边的江陵逃去。刘毅与何无忌、刘道规一行人到达桑落州，一举击败何澹之的水军，夺下湓口，又占据寻阳，捷报一个接着一个。刘裕因为晋安帝往西去了，便任命武陵王司马遵为大将军，让他住在东宫，管理日常事务，又命令刘毅往西继续追击桓玄。
桓玄到江陵后，他收集两万荆州兵马挟持着安帝再次东下。部队刚到达峥嵘洲，正好碰上刘毅率各路人马扬帆而来。刘道规看到桓玄的船，他率先带着部下冲杀上去，刘毅和何无忌随后跟上。当时正值仲夏，西南风吹得强劲有力，刘道规乘着风势放火，刘毅等人也一同帮忙，烧得长江上下烟雾迷蒙。桓玄所率领的战舰多半被烧毁，士兵大乱。桓玄慌忙改乘小舟，仍然挟持着安帝，逃回江陵。
这时，桓玄的部将殷仲文叛变，投降了刘裕，他保护晋国的二位皇后回到京城。桓玄再次回到江陵，但此时他已经众叛亲离，无奈之下只好乘夜逃往汉中。南郡太守王腾之、荆州别驾王康产护送晋安帝来到南郡府，不久，他们又迁往江陵。
益州刺史毛璩有个侄儿名叫毛修之，他在桓玄的手下担任屯骑校尉，想引诱桓玄前往蜀地。桓玄听了他的话西行，行至枚回洲。这时，上游来了好多艘丧船，船头站着一名卫兵，他看了毛修之一眼，便大声喊道：“你这船上有逆贼吗？”毛修之也不回答，桓玄却颤抖着说道：“我乃当今的新天子，你是哪里来的盗贼，竟敢在这胡言乱语！”话音刚落，对面的船上又跳出来两位将领，他们扬弓搭箭，朝桓玄飞射而来，桓玄的手下万盖、丁仙期挺身而出为他挡箭，但都被射倒在地，桓玄害怕不已。突然，有几人拿着刀跳进桓玄的船中，为首的就是刚刚船头那个卫兵。桓玄惊骇地问道：“你……你是什么人？竟然敢冒犯天子！”卫兵随即说道：“我们来杀的就是天子的贼臣！”话说到这里，这卫兵迅速挥刀劈向桓玄，只见血光一闪，桓玄立即身首异处。你们知道这个卫兵是谁吗？他就是益州督护冯迁。
原来，益州刺史毛璩的弟弟叫毛璠，在宁州做刺史期间病故，毛璩便派兄长的孙子毛祐之和参军费恬运送弟弟的棺木去安葬，并指派冯迁沿途护卫安全。当他们在上游看到桓玄的船后，毛修之便暗示一起动手，杀死贼臣桓玄。无须细想便知道，那搭弓射箭的二将便是费恬与毛祐之了。随后，冯迁砍下桓玄的首级，并抓住桓玄的儿子桓升，杀死船上的桓氏族人桓石康、桓浚。冯迁让毛修之带着桓玄的首级去报功，自己则押解桓升赶赴江陵。江陵的晋安帝授封毛修之为骁骑将军，将桓升押往东市斩首示众，又颁诏大赦天下，只有桓氏一族不能被赦免。
桓玄的侄子桓振逃到华容浦中，他招募数千党徒，打探到刘毅等人已退兵到寻阳，于是他们乘机袭击江陵城。桓谦也藏匿在沮川，他纠集众人响应桓振。江陵城内的守将只有王腾之、王康产两人，他们手下的士兵也不多，就这样被桓振、桓谦二人轻而易举地攻入了，王腾之、王康产两人也战死了。这时，晋安帝还住在江陵的行宫内。桓振持刀冲进行宫，他本想杀死晋安帝，却被随后赶到的桓谦给阻止住了。随后，他们便为桓玄举哀发丧。桓谦率领百官向晋安帝朝拜，他将皇帝的玺绶交还给晋安帝，并撤换掉安帝身边所有的御前侍卫，安插上自己的人马，又乘机攻占了襄阳等城。
刘毅一行人回到寻阳后，他们总以为元凶已被杀死，叛乱已被平息，从此便可以高枕无忧。哪知死灰复燃，还有桓振、桓谦两个余孽偷袭、夺占了江陵。刘裕急忙命令何无忌、刘道规率军去讨伐两桓。他们行军到达马头，正好被桓谦派来的军队阻拦。两军经过一番激烈厮杀，桓谦的队伍大败，何无忌与刘道规得胜后直接奔赴江陵。桓振安排党徒冯该埋伏在杨林，自己则率领部队前往灵溪。何无忌刚打赢桓谦有些轻敌，他贸然进军，被埋伏在附近的冯该阻击，他的队伍大败奔还。幸亏刘敬宣带着粮草和船只来接应何无忌、刘道规，他们才得以重整队伍。
刘敬宣是刘牢之的儿子，他之前逃到山阳，想招募兵丁去讨伐桓玄，却没能如愿，他改向南燕请求援兵，又被南燕主慕容德给拒绝了。于是，刘敬宣私下结交青州的大族和鲜卑酋长，和他们共同谋划袭击燕国都城，最终因计划泄露而回到南部。这时，桓玄已经败死，刘敬宣归顺了刘裕，刘裕任命他为晋陵太守，不久后又升迁为江州刺史。刘敬宣趁刘毅等人征讨桓玄余党时，便备好船只军械，准备随时接应。
何无忌、刘道规一行人得到刘敬宣的帮助后，再次进兵夏口。刘毅也率领部队跟随，拿下了鲁城。刘道规率兵攻克偃月垒，和刘毅会师后一同攻占巴陵。他们军纪森严，沿途秋毫无犯，一鼓作气到达马头。桓振挟持安帝到了江津，他派出使者和刘毅谈判，他说只要刘毅肯把江州、荆州割让给他，他便将安帝释放，刘毅等人不肯答应。这时，南阳太守鲁宗之起兵袭击襄阳，桓振率领部队回去阻击，留下桓谦和冯该镇守江陵。桓谦指派冯该守住豫章口，但遭到刘毅等人的攻击，桓谦弃城逃走。刘毅等人杀入江陵城，擒获桓振的党羽卞范之等人后，将他们斩首示众。
由于事发突然，桓振来不及将江陵城内的安帝带走，刘毅得以入宫拜见安帝，安帝当面慰劳他，并将一切事务交给刘毅主持。刘毅正准备全面追剿桓振、桓谦二人，正赶上桓振领兵折回营救江陵，他在回来的路上听说江陵城已失守，他的部下全都害怕地逃走了，桓振无法回城，只好躲藏在涢州。随后，桓振又召集散兵准备再次袭击江陵城，不料半路遭遇伏击，被将军刘怀肃领兵一举给歼灭了。桓振是桓氏家族后起悍将，丧命于此，桓氏一族的余孽基本死尽，只剩下桓谦等人逃到后秦。
安帝改年号为义熙，再次颁布赦令，桓氏一族中只赦免了桓冲的孙子桓胤。安帝又将都城迁到新安，下令保存桓冲宗祀，保全功臣的一丝血脉。桓冲是桓玄的叔父，他是晋朝的功臣，被封为丰城公。刘裕听到这个消息，命令刘毅、刘道规等人留驻夏口，又命令何无忌护送安帝回到故都。于是，安帝从江陵起驾，再次回到建康。文武百官在宫门口等候，安帝颁布诏令，令他们一律官复原职，授封琅琊王司马德文为大司马，武陵王司马遵为太保，又封赏刘裕、刘毅、何无忌、刘道规等有功之臣。
诏书颁布后，刘裕上书推辞。安帝又加封刘裕为尚书事，刘裕还是不接受，他请求回原来的藩地。安帝不肯答应，派遣文武百官去敦劝，刘裕执意要走，他入朝当面向安帝陈情，说自己只想在藩外任职。最后，安帝同意刘裕的请求，改封刘裕为都督，管理荆、司、梁、益、宁、雍、凉七州，加上之前为十六州的军务。刘裕这才接受任命，回到丹徒镇。安帝又封刘毅为左将军、何无忌为右将军，命他们分别督管豫州、扬州的军务，又封刘道规为辅国将军，督管淮北所有军务。其余如并州刺史魏咏之以下的官吏，皆加官晋爵了。
刘毅在刘敬宣手下做参军时，时人都认为刘毅是一代英雄豪杰。刘敬宣曾说过：“才能出众之人必须有宽大的胸怀。刘毅表面上待人宽容，实则忌妒心很重，他常常夸耀自己而轻视别人，一旦他日后得志，只怕会以下犯上，自取灭亡。”刘裕听到刘敬宣这一番话，曾感到很遗憾。等到刘敬宣被任命为江州刺史后，他派人禀报刘裕：“敬宣没能与您一同起义，被您授予晋陵太守已是过于优待，如今提拔到江州刺史更是骇然，这般隆重的待遇只怕会令前线辛苦作战的将士们懈怠。”刘裕知道刘敬宣的意思，但他迟迟不发表意见。刘敬宣见刘裕没有回应，更加坐立不安，他便上书请辞。刘裕这才下令，改任刘敬宣为宣城内史。刘毅再次与何无忌分兵两路去征讨桓玄的残余党羽，桓亮、符玄等小人物全部被歼灭，荆、湘、江、豫都被平定。晋廷任命刘毅督管淮南五郡事务，兼任豫州刺史；何无忌督管江东五郡事务，兼任会稽内史。此后，刘毅越发骄傲起来，免不得目空一切，有我无人了。正是：
平矜释躁始成才，器小何堪任重来！
古有一言须记取，谦能受益满招灾。
