刘备的人马是分开走的，驻军樊城以来，刘备花了好多心思攒出来一支水军，虽然无法与刘表在江陵的水军相提并论，但也有各式战船数百艘，刘备自己率大队人马南下，舍不得把这支水军和战船丢下，就让关羽统率水军由汉水开赴夏口，到那里与刘琦会合。
刘备知道曹操会追来，所以自己这一路急切南行，但他们遇到了大麻烦，听说曹军来了，不断有荆州百姓加入他们的队伍，人数很快达到10多万。可惜这不是战斗部队，有点像黄巾军，家属、百姓、地方官吏什么人都有，还有各式各样的车辆有数千辆之多，这样的队伍行进起来只能用“蠕动”来形容，一天只走了10多里。
这怎么行，必须尽快摆脱曹军追击。据《三国志》记载，有人向刘备建议道：“现在我们人数虽多但能战斗的人少，如果曹军杀到，如何迎敌？应该加快行军速度尽快赶往江陵。”言下之意应该弃官民百姓不顾，轻军直奔江陵，跟曹军抢时间。刘备对这类建议再次表示不接受：“成就大事必须以人为本，现在大家自愿追随我，我怎么能忍心抛弃（夫济大事必以人为本，今人归吾，吾何忍弃去）？”“以人为本”这4个字如今已耳熟能详，据说最早便出自这里。
而给刘备出主意的人此处仍然没有点名，这是第三次用“有人”了，这个“有人”应该还是诸葛亮，作为刘备此时最主要的参谋人员，他有及时提出建议的义务。单从战术层面考虑，这样磨磨叽叽地往前走，无异于坐等投降。“有人”的3次建议确实都是高招，如果采纳虽不说一定能马上打败曹操，但局面显然会比现在有利。但从讲仁义的角度看这似乎不是什么好主意，于是陈寿一次次替诸葛亮避了讳。
对于刘备的这次态度有两种看法：一种认为这正是刘备一贯仁义精神的体现，另一种认为是刘备想拿百姓当盾牌，必要时好趁乱逃脱。从后面事情的发展来看，持后一种观点的也不是没道理。
虎豹骑很快就追上了刘备一行，地点在南郡当阳县境内一个叫长坂坡的地方，此处如今在湖北省荆门县以南。当阳指的是荆山之阳，位于其西北一带的山脉至此缓降为丘陵和平原，在地势上属于过渡带，因而有许多面积很大的山坡，长坂坡就是其中之一。在《三国志》里，长坂被写作“长阪”，古书中“坂”和“阪”意思相同，长阪即长坂，泛指山坡。当年长坂坡一带长着茂密的树木，其中以栎树为多，所以古来此地又被称为栎林长坂，这一点对刘备来说很重要。这块山坡《左传》里曾经提到过，并称之为“险地”。一个长满树木的山坡被称为险地，是因为它的位置。它东面是汉水，西面是沮水和漳水，北面是山地，有著名的虎牙关，南面是长湖，被堵到这个地方，跑起来是相当吃力的。
刘备率10多万军民刚到这里的时候被曹军追上，一场激战就此展开，战斗结果毫无悬念，刘备大败。据《三国志》记载，曹军追上后，混战中刘备与夫人孩子走丢（先主弃妻子），只与诸葛亮、张飞、赵云等数十骑败走，曹操将随同刘备一同南下的10多万官兵百姓以及辎重等全部俘获。
刘备先前娶了几任妻子都死了（数丧嫡室），女人有克夫的，看来刘备有点克妻。刘备当豫州刺史驻扎在小沛时，娶当地女子甘氏为妻，即死后被追赠为昭烈皇后的甘夫人。刘备在徐州时，一度被吕布欺负得要命，差点跑到海里当渔民，幸亏徐州本地富豪麋竺变卖家财全力支持他，让他渡过了难关。当时刘备的新夫人甘氏被吕布俘虏，麋竺就把自己的妹妹嫁给了刘备，即麋夫人。刘备不仅命里不旺妻，而且生育能力好像也有问题，40多岁还没有孩子。所以，刘备在新野收了个叫刘封的养子。但是就在前两年，甘夫人突然怀了身孕，生下一个儿子，取小名叫阿斗，也就是后主刘禅。《三国志》里讲刘备“弃妻子”，其中“妻子”指的就是甘夫人、麋夫人以及年仅两岁的刘禅。
但是，赵云十分英勇，硬是保护甘夫人及刘禅杀出了重围。据《三国志》记载，刘备当时已经往南跑了，赵云抱着刘禅，保护着甘夫人，居然最后免于一难。《三国志》还记载，张飞当时率领20多名骑兵负责断后，张飞把守在一座桥上，瞋目横矛，对追来的曹军大喝道：“我是张翼德，可以过来决以生死！”居然把曹军镇住，一时间没有人能靠近。
刘备跑得快，后来脱离危险，这时清点人数，发现除关羽此前派出去指挥水军，诸葛亮、张飞都在，夫人孩子不在，赵云也不在，据《云别传》记载，刘备身边有人说赵云已经投降曹操了（有人言云已北去者），刘备听了很生气，用手戟敲打说话的那个人，说：“子龙绝不会弃我而去！”过了一会儿，赵云回来了，还带回来了甘夫人和刘禅。
刘备临阵提升赵云为牙门将军，赵云正式跟随刘备是在刘备寄居于袁绍那里，算来也有3年多了，但一直没有正式职务，只有一个“主骑”的身份，现在在长坂坡前线被破格提拔为牙门将军，如果从字面上看这个军衔属杂号将军，大体上可以看作少将，比偏将军、裨将军要高，这意味着赵云后来居上，超越了关羽和张飞。这就不好理解了，赵云虽然功劳不小，但他跟随刘备时间毕竟还短，资历毕竟还差，怎么能反超呢？
仔细一看，“牙门将军”或许多了一个字，应该是“牙门将”。古代君王、将帅的大旗旗杆常以象牙作饰物，故其大旗常被称为“牙旗”，其营门也称“牙门”，到南北朝时，“牙门”从军队用到了地方上，后来演变出“衙门”一词。“牙门将”就是守营门之将，未必有将军的军衔，赵云的儿子赵广后来就担任过这一职务，并非是“牙门将军”。这样说的依据是，赤壁之战结束后，赵云被派到荆州南部的桂阳郡当太守，当时的军职才是刚刚被任命的偏将军。
不管怎么说，刘备在赵云、张飞等人的拼死保护下暂时脱险，给他帮了忙的还有长坂坡附近茂密的树林，可以想见一下当时的情形，5000多虎豹骑杀到，但一下子都傻眼了，因为他们看到的到处都是人，刘备的兵力至多不过几千人，但跟着他们走的老百姓有10多万，那个阵势相当壮观。
曹操还没有残暴到连老百姓见着就杀的地步，所以虎豹骑也不敢纵马乱冲，刘备、诸葛亮等人才得以脱险。
