孙权主动撤出南郡后，刘备才算有了一小块自己的地盘，但是荆州有7个郡，刘备拥有南郡，不过七分之一。曹操已完全占领了北方数州，孙权除占着扬州的大部分地区以外，又及时在荆州扩大了势力范围。相比之下，刘备的地盘就小得可怜，如果这时候有人对他说现在已经是三分天下了，刘备自己都不信。
荆州的7个郡，江北有南阳郡、南郡、江夏郡，最北面的南阳郡一直是曹操的势力范围，曹操现在还占领着本属南郡的襄阳，往北发展可能性不大；江夏郡与江东相邻，孙权在那里任命了太守，俨然已把江夏郡视为自己的地盘，鲁肃目前驻军陆口，不宜向那一带发展。
诸葛亮为刘备分析了局势，认为当务之急是迅速壮大势力，抢占地盘，但要拓展势力只能向南，夺取长江以南的荆州四郡，这4个郡分别是武陵郡、长沙郡、零陵郡、桂阳郡，如果摊开地图看，这4个郡的面积广大，超过荆州的江北三郡，范围包括今湖北、湖南、广西、广东、贵州各一部。目前，武陵郡的太守叫金旋，长沙郡的太守叫韩玄，桂阳郡的太守叫赵范，零陵郡的太守叫刘度，他们过去都由刘表所任命，刘表死后他们曾短暂地归服于曹操，曹操撤走以后，这4个郡暂时陷入自治状态。
诸葛亮认为，刘备现在是荆州牧，至少孙权认可这项职务，而曹操鞭长莫及，正可以利用这一点“合法”地去接收地盘，如果这4个郡不听，那就武力解决。刘备于是分兵渡江，前往江南的这4个郡去“接收”。刘备打不过曹操和孙权，但对付这几个郡还是绰绰有余，除武陵郡外，其他几个郡一打就投降了。武陵郡太守金旋拒不投降，战败被杀。
在此过程中，刘备提拔赵云为偏将军，让他征讨桂阳，桂阳郡太守赵范投降，刘备任命赵云兼任桂阳郡太守（领桂阳太守）。赵范一心巴结赵云，他的嫂子樊氏长得很漂亮（有国色），而他哥哥已死，嫂子寡居。赵范想把嫂子嫁给赵云，被赵云拒绝了。
赵云不想伤赵范的面子，推辞道：“我和你同姓，你的兄长就好比我的兄长一样，怎能娶兄嫂？”也有人劝赵云接受，赵云说：“赵范是被迫投降的，心里怎么想还不知道（范迫降耳，心未可测）。天下女子多的是，不必着急。”赵云这个人看来很有头脑，因为后来赵范果然逃亡。
在收服长沙郡过程中，刘备得到了一员猛将，名叫黄忠。黄忠字汉升，荆州本地的南阳郡人。刘表曾任命他为中郎将，和刘表的侄子刘磐一块驻守在长沙郡攸县。荆州投降曹操后，曹操为拉拢黄忠，升他为裨将军，仍然驻守原地，归长沙郡太守韩玄指挥。韩玄投降刘备后，黄忠也投身到刘备阵营，他作战勇敢，战绩卓著，身为高级将领，但经常冲锋陷阵（忠常先登陷阵），逐渐成为刘备手下与关羽、张飞和赵云齐名的猛将。
除黄忠外，刘备的队伍里还增添了另一员猛将，名叫魏延。魏延字文长，荆州本地的义阳人，是一员悍将，但那时他的地位较低，直到刘备入蜀时，他也仅以部曲的身份随行。
在巩固江南四郡的同时，刘备也想加快向江北拓展。刘备升关羽为荡寇将军，兼任襄阳郡太守，驻扎在江北；升张飞为征虏将军，兼任宜都郡太守，后转任南郡太守。刘备任命的这些官职，包括任命赵云的偏将军，都是以左将军、荆州牧的身份表奏的，不太合法，但一样管用。
荆州没有一个襄阳郡，这是刘备的新发明。襄阳过去是个县，是南郡和荆州的治所，目前还在曹操手中。刘备置襄阳郡，时间和管辖范围不可考，想必应该是分南郡的一部而设，控制区是南郡的北部，与曹军相邻的地带。宜都郡也是刘备分南郡所设，治所在枝城县。
赤壁之战后的第三年，即汉献帝建安十五年（210）前后，荆州七郡的大体格局便确定了，在这7个郡里，曹操占有南阳郡和南郡一部，孙权占有江夏郡和其他一些地方，刘备占有大部分南郡以及零陵郡、长沙郡、桂阳郡和武陵郡，三家瓜分了荆州。
除刘备新设了襄阳、宜都等郡外，曹操也以南阳郡、南郡的北部为依托，新设了章陵郡、南乡郡，荆州的格局变得复杂起来，而这样的格局维持了相当长的一段时间。
在此期间，诸葛亮的同学庞统也来到刘备身边。周瑜死后，护送其灵柩回江东的是庞统，庞统在刘表手下任南郡功曹，赤壁之战后，南郡归孙权所有，周瑜任南郡太守，庞统成为周瑜的属下。
庞统到了江东，吴人也久闻凤雏的大名，纷纷与他结交，等他西还，大家齐会于昌门相送，陆、顾劭、全琮等江东名士都来参加了。等庞统回到荆州，南郡已归刘备所有，刘备命庞统以从事的身份兼任耒阳县令。据《三国志》记载，庞统在耒阳干得不怎么样（县不治），被免了官。鲁肃听说后觉得可惜，专门写信给刘备：“庞士元非百里才也，最少也要让他任治中、别驾这样的职务，才能尽其所能（始当展其骥足耳）。”
诸葛亮也向刘备进言，推荐庞统的大才，这才引起刘备的注意。刘备单独与庞统交谈，谈完之后，刘备大为高兴，对他深为器重，升他为州政府的治中从事，对他信任的程度仅次于诸葛亮（亲待亚于诸葛亮）。《九州春秋》记载，在这次谈话中，庞统对刘备说：“荆州已经残破，东有孙吴，北有曹氏，想以此为鼎足之计，已难实现。益州国富民强，人口上百万，兵强马壮，可以借以成大事。”
看来司马徽老师真的名不虚传，所教的诸葛亮、庞统这两个高徒都极具战略眼光，他们都一针见血地指出了益州在争霸天下中的重要意义。不过，刘备与庞统仅初次交谈，还不想聊得那么深入，所以刘备说：“我与曹操势如水火，他急，我宽；他暴，我仁；他诡，我忠。只有与曹操不一样，事情才能成功。所以，夺取益州难免失信义于天下，我不能取。”
庞统听后不以为然，说道：“现在是讲究权变谋略的时代，不是固执一面就能成就大事（权变之时，固非一道所能定也）。兼并弱小，攻取愚昧，这就是春秋五霸的事业。逆取顺守，推行善政，待大局已定，给原来的主人以优厚的待遇（事定之后，封以大国），又何妨于信义呢？如果不取，终落入别人之手。”庞统的这番见解与诸葛亮之前的说法也相同，可谓英雄所见，刘备听完，虽仍未明确表态，但进一步坚定了西取益州的信念。
