李敢死后，司马迁继续担任郎中，专制帝王的镇压魔爪暂时还没有延伸到他的身上。以后几年，他经常随汉武帝到处巡游，寻找神仙。转眼之间，八年过去了。
元鼎六年（公元前111年），司马迁三十五岁了，汉武帝见他做事勤谨努力，便派他为钦差大臣，前往西南少数民族地区督察和慰抚。这是一件十分重要而艰巨的征略任务，弄不好会送命的，以往汉朝的使者在西南地区被野性未驯的夷人杀掉的不在少数。当时的未开化的西南少数民族地区，除了指今天的云南、贵州两省外，还包括今四川宜宾以南，成都以西以北地区，还涉及甘肃东南部、陕西西南一角。这一片地区山川纵横交错，地形错综复杂，交通极其不便，消息非常闭塞，住在那儿的少数民族被称为“西南夷”。“西南夷”包括十多个城邦小国，都各自称王，不受汉朝节制，其中以夜郎（今贵州省北部桐梓、遵义一带）、且兰（今贵州省凯里市西北）、滇（今云南滇池一带）三国较大，此外还有邛（今四川西昌县）、笮（今四川汉源县）、昆明（今云南大理、保山一带）、冉（今四川茂汶县）、斯榆（今四川天全县）等封闭的微型小国。汉武帝从建元六年（公元前135年）起，就展开了征服这个地区的军事、政治行动，这项行动计划被称作“通西南夷”，即一面派兵讨伐，一面派文臣前往说服当地的土王、领主投降，然后设立郡治，任命汉官。这项行动到元封二年（公元前109年）最边远的滇国被安抚平定，才算完成，前后经历了二十七年。
司马迁“奉使西南”是汉武帝“通西南夷”行动的一个重要环节。在他之前，汉武帝已经先后派了番阳令唐蒙、中郎将司马相如、博士公孙弘（后来任御史大夫）三人出使西南夷地区，取得了相当的成果，司马迁的任务是在他们三人已取得的成就的基础上，做安抚当地的土王势力、设置新的政府机构和任命新官员等工作。在司马迁之后，汉武帝又派外交使者王然宇等去该地区，继续完成司马迁等未了的事情——压服滇国归顺汉朝。
这事得从头说起：建元六年（公元前135年），司马迁十一岁时，汉武帝派兵平定了闽越（今福建和浙江南部一带），随即派出番阳令唐蒙出使南越（今两广和越南一带），宣示汉朝的旨意。从秦末中原大乱以来，南越地区就在赵佗及其子孙的领导下，一直脱离中国独立。唐蒙到了南越，才知道南越西北有个夜郎国，唐蒙回京都后，向武帝建议，如要征服南越国，军队由长沙、豫章（今江西南昌）坐船去，逆水难行，且行到五岭，水路就不通了，不如先征服夜郎，得夜郎精兵，浮船牂牁江（今盘江），顺水行舟，出其不意，攻打南越。武帝依允，就封唐蒙为郎中将，率领一千多名士兵，以赏赐和威吓双管齐下，使夜郎和其旁边的小邑归顺了汉朝，汉朝在那儿建立了犍为郡（其治所在今四川宜宾市西南）。
唐蒙奉命开通到夜郎的道路，他征发巴郡、蜀郡的官吏士兵一千多人筑路，又责令当地派出数万人从陆路和水路转运粮食。他制定严酷的军法，稍有迟延，就用军法处死领队的长官，因而应征的人有的自杀，有的逃跑。巴、蜀两郡人民十分惊恐，有骚动迹象。武帝闻知，便派郎中司马相如去西南责备唐蒙，并发布檄文告知巴、蜀的人民，说明唐蒙的这些做法并非皇上的本意。
司马相如是蜀人，曾用琴声打动富翁卓王孙的女儿卓文君和他私奔，在蜀地传为美谈。此时他受武帝指派，以中郎将的身份于元光元年（公元前134年）、元光五年（公元前130年）两次去西南活动，他同时写了两篇著名的檄文：《喻巴蜀檄》和《难蜀父老》，向当地百姓解释皇上体谅百姓的用心，以消除唐蒙在当时擅自征发所造成的坏影响。他利用自己在当地的声望，凭借三寸不烂之舌，说动古蜀国附近的邛、笮等小国归顺汉朝，汉朝在其地设十几个县，隶属于蜀郡（成都）。
但因道路阻塞，从巴蜀地方给西南夷地区运送粮食给养等困难问题仍难以解决，假如前方士兵有一千人，而为他们运送供养的后勤人员倒要万人以上；粮食要从几千里外运去，费十几钟（一钟合六石四斗）才能运到一石，换句话说，花费超过实效百倍。因此，驻守西南夷地区的士兵因为疲惫、饥饿、遭遇湿热而死的人很多。后来这些西南夷小邦又渐渐不听话，趁汉朝全力对付匈奴之机，纷纷反叛。汉朝派兵攻打，因交通不便，徒然耗费人力物力，收效甚微。武帝派博士公孙弘前往视察，公孙弘回来后，向武帝报告征伐西南夷的种种困难，说这些小邦情况复杂，君长反复无常，朝廷鞭长莫及。当时正全力在黄河边修筑朔方城堡（今内蒙的杭锦旗北）以驱逐匈奴，公孙弘被提升为御史大夫后，他利用职务之便，多次建议停止对西南夷的讨伐，理由是西南夷为害不大，最大的威胁是北方的匈奴。武帝便停止对西南夷的战事，只在那儿设置南夷、夜郎两县，派一都尉镇抚，同时命令犍为郡太守领兵自卫，只守不攻。
到司马迁廿岁那年（元朔三年，公元前126年），历尽千辛万苦回到长安的张骞，带回一项信息，又引起武帝对西南夷的兴趣，他说他在大夏（其领土从今乌兹别克斯坦南部至北印度边境）时曾看到邛地所产的竹杖和蜀郡所产的布，而大夏人说那些东西是从身毒（印度）买来的。又说大夏在中国的西南方，非常仰慕中国，只是被北方匈奴所阻挡，所以没法互通，如果能打通从蜀郡到印度的道路，那么从南方去大夏的道路也可以打通了。
于是四年后，也就是元狩元年（公元前122年），武帝开始陆续派遣使者，以实现在西南夷地区开辟一条通印度的道路的计划，达到绕道南方联络大夏夹击匈奴的目的。武帝先后派了王然宇、柏始昌、吕越人等十余人，分别从冉、邛和僰（今四川宜宾县西南安边镇）等地出发，从小路经过西南夷地区，探查通印度的道路，他们各行一二千里，但每次探查都以失败告终，或者被未开化的部落拦截杀害，或者被滇王扣留在昆明地区，使他们不能继续前进。
汉武帝的通印度的理想，直到七百多年后，才由唐朝的僧人玄奘实现。公元627年，玄奘为了求取佛教真经，穿过新疆和印度的大沙漠，越过世界屋脊帕米尔高原和大雪山，第二年达到印度，于640年在印度见到北印度盟主戒日王，向他陈述大唐国的情况。次年（贞观十五年）戒日王果然派使者通大唐，唐太宗也派外交官王玄策三度奉使印度。自汉武帝时代准备通印度却屡次失败以来，这次算是第一次开启了中印外交之门，可说是玄奘之功。
古代的云南确实有一条通印度的道路。玄奘在印度求经学习时，到过今印度东北部，那儿离中国不远，玄奘发现有直路通中国云南。不过沿途极为艰险，兼以瘴气毒蛇，玄奘还是决定不走这条路线回国。
但在汉武帝的时候，有滇国从中作梗，由云南通印度的计划更难以实现。这滇国是战国时代楚国将领庄蹻建立的，当年庄蹻奉楚怀王之命，侵略今天的云南贵州地区，庄蹻完成任务后，却无法回报怀王，因为回去的必经之路巴郡已被敌人秦国占领，庄蹻走投无路，只好留在偏远的云南，划地为王。汉武帝时代的滇王就是他的子孙辈，长期闭塞，不晓中原的事，向汉朝的使者提出一个可笑的问题：“汉朝大还是我国大？”使得汉使们笑痛了肚皮。他们只好回朝据实报告，汉武帝听了，心中有数。
“汉朝大还是我国大？”当时夜郎国王也向汉使提出这个问题，成为千古笑柄，至今还有“夜郎自大”这个成语。
汉武帝初次派使者去云南的十年后，也就是司马迁出使的前一年（元鼎五年，公元前112年），南越国真的反了，宰相吕嘉进宫杀死愿意归附汉朝的南越王赵兴、王太后，一并杀了终军等汉朝使者多人。武帝闻报，立即派路博得率兵十万，前往平叛。
在战争进行中，汉朝除了派水师从今湖南、江西南下外，还命令西南夷各国派兵沿牂牁江南下助战。小邦且兰带头抗命，并且杀了汉朝的使者和犍为郡太守，邛、笮等小邦也学且兰的样，和汉朝作对。
这时离卫青、霍去病最后一次大规模征伐匈奴已经七年，中原长久没有战事，得到休养生息，要对付南越国，力量绰绰有余。汉武帝于是制订了一个一揽子作战计划，除了灭南越国外，要一并解决西南夷小国。
第二年（元鼎六年，公元前111年）初，武帝东行，至左邑的桐乡，前方捷报番禺（南越都城，今广州市）已破，遂在皇帝驻跸处建一个县叫闻喜县（今山西闻喜县西南），数月后，武帝又出行到汲县的新中乡，得报已获吕嘉的首级，又在驻跸处建一个县叫获嘉县（今河南新乡县南）。南越就这样平定了，汉朝在其地设置了九个郡。然后武帝对西南夷动兵，派郭昌等人率人马攻击且兰等小国，杀了且兰、邛和笮等小国的君长，西南夷各小邦才如梦初醒，纷纷请求归顺汉朝。
