元朔三年（公元前126年），司马迁刚满二十岁，就展开了一次走遍半个中国的游学。这次游学也许是奉父亲之命，也可能是师长们的提议，还有一个可能是朝廷的指派，具体原因已不可考，但至少有下列几个任务：第一，行万里路，胜读万卷书，司马迁的父亲希望儿子通过游历，增长见识，好像今天的父母送儿女到国外留学一般。第二，遭秦火后，先秦的文献大都毁灭了，朝廷希望司马迁到东、南各地搜集未遭焚毁的断简残篇，像在孔子的旧宅发现《古文尚书》一样，在遗留文物方面有新发现。第三，为了复原先秦的历史，孔安国等师长希望司马迁能在各地搜集口述历史资料，以补历史文献的不足。据记载，司马迁的这次大游历，历时至少二三年，无论在发现残留古文献方面，还是在搜集口述史方面，都大有收获，特别是，这次游历对他日后完成《史记》有相当大的帮助。
对他游历的路线，后人有几种猜测，有一种猜测是，他大概是从京都长安出发，走出武关（今陕西商县东），经过南阳（今河南南阳县），在南郡（今湖北江陵县）渡长江，到达湖南的洞庭湖，在湖中的君山上，他见识了南方特有的斑竹。后人有诗云“斑竹一枝千滴泪”，这句诗包含一个典故：据传说，竹子上的斑点，是眼泪染成的。谁的眼泪？帝舜的两个妃子娥皇和女英的眼泪。当年帝舜巡视南方，走到湖南南部苍梧山的原野中，不幸得病逝世，就地安葬于九嶷山。远在北方的娥皇和女英听到这个噩耗，心如刀绞，立刻乘坐马车和木船，往南方奔丧。一路上悲伤极了，泪如雨下。近人有诗云：“泪挥顿作倾盆雨。”这是说，她们伤心的眼泪，将老天爷也感动了，顿时下起倾盆大雨来，因为这场大雨是娥皇和女英的眼泪感化而成的，所以雨中也带有极度悲伤的血泪，这种血雨洒在南方的竹林上，竹子上便出现斑点的痕迹。从此南方便有了斑竹。
斑竹又叫湘妃竹，为什么叫湘妃竹呢？因为后来又生变故，真是祸不单行，娥皇和女英坐船在湘水上航行，溯江而上，要到九嶷山上去祭奠帝舜，没想到风波骤起，船翻了，二人都落水淹死。上帝封这两个妃子的魂魄为湘水的神灵，后人就称其为湘夫人或湘妃。屈原写的《九歌》中就有一篇叫《湘夫人》，这是后人祭祀她们的歌词。
这两个妃子的传说太美了，司马迁也深受感动，便产生了参拜舜的陵墓的愿望，他雇船溯沅江而上，终于到达零陵郡营道县（今湖南宁远县）的九嶷山，经过一番探寻，发现了舜的葬处。舜陵的前面，还留存着原始的祭坛的遗迹。当地的民众告诉他，九嶷山的名字源自九个相似的峰头，而九个峰头的名字又分别是丹朱峰、石城峰、楼溪峰、娥皇峰、舜源峰、女英峰、箫韶峰、纪峰、纪林峰，都与舜的经历有关。
司马迁在舜陵旁参拜，不禁想起了古文献中对舜的描述，他知道舜虽然是个传说中的人物，但《尚书》的《尧典》和《舜典》对舜有详细的记述，《尧典》上说：有一天，帝尧召集四岳部落的领袖们来议事，说道：“我在位七十年了，日渐年老，你们中有谁能继位的吗？”四岳部落的领袖们说：“我们的德行不堪胜任尊位。”尧就说：“我们应当推举那种屈居下位的能人。”众人才向尧推荐道：“有个单身汉现在下民之中，名叫虞舜。”尧点头道：“不错，我也听说过，这个人到底怎么样？”四岳回答说：“他是一个盲人的儿子，父亲不讲道德，后母爱说坏话，弟弟骄傲凶狠，但是他能够用孝顺之道跟他们和睦相处，使他们上进，不干坏事。”尧说：“让我考验一下他吧。”在这种情况下，尧把两个女儿嫁给舜，通过她们来观察舜的德行。舜叫她们放下架子，住在妫水北岸，遵守做媳妇的礼节。尧很赞赏他这样做。
《尚书》的《舜典》上说：舜又名重华。他的美德传到帝尧的耳朵里，帝尧决定培养他做接班人，首先让他担任各种重要的职务，以考验他的才能，如掌管教育，管理宫廷的四道门户，迎送宾客等，他都能胜任。最后帝尧派他到深山丛林中去执行一项极端艰巨的任务，丛林中有豺狼虎豹、毒蛇蚂蝗、瘴气毒雾，舜毫不推辞，独身进入丛林探险，遇上狂风暴雨，他没有迷失方向，执行好任务后，安然返回，帝尧认定舜有战胜各种艰难的超人本领，便对他说：“我考察你三年了，你完全可以登上帝位了。”
直到第四年的正月初一日，舜才接受尧的托付，暂时担任摄政王，在尧的祖庙里举行交接仪式。他首先检查天文仪器，根据日月行星的运行核准时间，制定历法，不误农时。然后接见四岳等部落首领，检验他们手中的象征联盟关系的玉器的真伪。这年二月，舜东巡到泰山，举行柴祭礼，同时接见东方部落首领，和他们一起修订历法，制定统一的度量衡单位和兵器规格。巡视归来，向帝尧汇报。五月，舜南巡到南岳衡山，行礼和泰山一样。八月，舜西巡到西岳华山，仪礼也相同。十一月，北巡到北岳恒山。此后，规定帝王每五年要巡视全国一次，而各邦首领要来京城朝见四次。舜又根据洪水等自然条件将全国划分为十二州，每州都封一座大山以为重镇。
舜又修订刑法，对普通的罪犯只实行象征性的处罚，即让他们穿上与众不同的衣服和鞋子，使他们感到羞耻，自动改恶从善。又普遍实行流放来代替各种酷刑，用鞭笞作为官府的刑罚，用棒打作为教学的刑罚。凡是罪行可恕的犯人，可以用黄金赎罪；因无意的过失或天灾致罪的，给以缓刑或免刑；对坚持害人到底的，则杀无赦。
当时有四个危害国家的部落：共工、驩兜、三苗、鲧，舜把共工流放到幽州，把驩兜流放到崇山（今湖南省大庸县西南），把三苗流放到三危（今甘肃省天水县），把鲧拘留在羽山（今山东省蓬莱县东南）。这四个凶恶的部落受到制裁，天下的人都心服了。
过了二十八年，帝尧死了。各邦百姓都好比死了父母一般，三年中间，四海之内都停止一切音乐，表示哀悼。
次年正月初一日，舜正式即位。在征求四岳部落首领同意后，选拔伯禹（或简称禹）辅佐政务，官名叫司空，相当于现在的内政部长，当时禹主要负责平治水土。舜又任命一个名叫弃的官员，指导人民种植百谷，官名叫后稷；相当于现在的农业部长；又任命一个名叫契的官员教育人民宽厚相待，官名叫司徒，相当于现在的宣传和教育部长；舜又任命一个名叫皋陶的官员为刑官，相当于现在的大法官。舜对皋陶提出要求：讨伐叛乱应在原野上进行，不要践踏农田；执行死刑应在闹市进行，才有威慑作用；流放应有安置的地方，可以分三等，罪恶大的驱逐到荒无人烟的地方去（四海之外），次等的流放到夷狄的地区，再次的流放到千里之外。舜又任命一个名叫垂的官员管教上百种手工艺人，相当于现在的工业部长；又任命一个名叫益的官员管理山泽，保护草木和驯养鸟兽，相当于现在的森林部长和环境保护部长；又任命一个名叫伯夷的官员主持天地人三种礼仪，相当于现在的宗教局长或礼仪部长；又任命一个名叫夔的官员制作音乐，教孩子们唱歌，相当于现在的文化部长；又任命一个名叫龙的官员作纳言官，收集各方面的意见，相当于现在的中央情报局长。
舜规定官员三年考核一次，三次考核不及格者淘汰，及格者晋升。
舜三十岁的时候被帝尧选拔，开始管理国家事务，尧死后，他居帝位有三十年之久，他总共为国家服务了五十年左右，
以上《尚书》的《尧典》和《舜典》关于帝舜的内容，在中国历史上影响深远，舜的行政方式和官吏制度是中国封建国家制度的雏形，为后世帝王一再效法。
司马迁觉得，舜更像一个历史人物，因为《尧典》和《舜典》被先秦文献引用达十四次之多。《左传》中对舜也有记载，如文公十八年记述舜提拔高阳氏、高辛氏后裔的十六个家族的人作官，又驱除四凶族。孔子和孟子等儒家都盛称舜的大德，《论语》述说舜的事迹不下八处，《孟子》说舜事则达九十多处。屈原写作《离骚》，把“重华”引为异代知己：“驾青虬兮骖白螭，吾与重华游兮瑤之圃。”《山海经》记录舜帝的故事有十一则。
