迁到茂陵后，司马迁家离京师很近，近水楼台先得月，司马迁可以通过父亲的关系，结识许多名人和学者，并接受他们的指导，其中包括当时的大儒孔安国和董仲舒，司马迁有幸拜他俩为师。孔安国和董仲舒是两个颇具特色而又十分典型的人物，两相对照，各领风骚。今天没有保存下来他们的画像，但后人揣摩，他俩在长相上可能不同，孔安国细瘦修长，微微驼背，密髭短须，神色严肃，终日锁眉，不苟言笑；董仲舒不过五尺，身单力薄，但身材紧凑协调，显得精明强悍，须髯飘飘，面色慈祥，风度潇洒。其次，在性格上他俩也可能各异：孔安国沉稳斯文，山岳一样，清池一般；董仲舒活泼开朗，像一团火，似一江水。第三，在教授方法上他俩也可能有不同的方法：孔安国只作指导点拨，解惑答疑，很少讲解。董仲舒擅长讲解，口若悬河，滔滔不绝，感情投入，眉飞色舞，慷慨激昂。
孔安国是孔子的十二世孙，是个古文经学大师。汉朝初年，发生了一件文化史上的大事，被封为鲁恭王的新贵族刘余在鲁地曲阜大兴土木，拆除孔子的旧宅，为自己修建宫室，无意中在旧宅墙壁中发现了《古文尚书》《论语》《孝经》等典籍，这些书全部用蝌蚪文字（大篆）写成，周围无人能认识，于是将孔子的嫡系子孙孔安国请来，要他解读这些书的内容。从此以后，研究这批新发现的古文经典，成了一门独立的学问，习惯称为古文经学，而孔安国理所当然地成为这门学问的宗师。
当时还有一门研究用今文（隶书）书写的《尚书》的学问，被称为今文经学。今文经学和古文经学，这两种相对应的学问研究的主要内容都是《尚书》，只是所研究的文本不同。今文经学研究的《尚书》的文本不是出自孔子旧宅，而是由一个秦代的博士伏生口授、晁错用今文隶书记录的，这个文本被称作《今文尚书》。
《今文尚书》的出炉详细经过是这样的：秦始皇焚书坑儒时，把《尚书》列为禁书，博士伏生把《尚书》藏在墙壁内，便逃亡在外。汉朝立国以后，伏生返回故居，从墙壁里寻找《尚书》，仅剩下二十九篇。文帝寻求研究《尚书》的儒士，只找到伏生一个人。当时伏生已经九十多岁了，无法出门远行，文帝就诏令太常，派掌故晁错登门拜伏生为师，学习《尚书》。晁错可能没有看过伏生收藏的残存的尚书竹简，即使看了也不认识，只是将伏生口授的内容笔记下来。伏生的口音很重，口齿又不清，只能让女儿向晁错转译，这样的记录自然有错。况且只有二十九篇，仅就内容的丰富而言，《古文尚书》就比《今文尚书》多十六篇。
当时孔安国官任侍中，可以经常进入皇宫，从而和太史令司马谈会面。而孔安国的堂哥孔臧任太常，太常管理太史令，是司马谈的上司。孔家和司马家一定非常熟悉，常常来往。孔安国府中可能还珍藏着《古文尚书》的原本，司马迁也因此得以从孔安国那里见到这个原本，这是极珍贵的原始资料，对司马迁日后编写《史记》有重大作用。
司马迁是什么时候师事孔安国的呢？可能从他家迁到茂陵后，他就开始向孔安国学习了，但系统地学习古文经学可能是他二十岁壮游归来京师以后，应在元朔末年至元狩末年，当时司马迁的年龄在二十二三岁至二十七八岁之间。
西汉的经学既然分为古文经学和今文经学两派，那么两派之间的争论就是不可避免的了。争论的焦点是对《尚书》各有各的解说。古文经学家的治学特点是：解释较简单明了，不随便增加臆说，学术修养较高深，但政治方面较保守，不在意改革。今文经学家主张改革，对《尚书》《春秋》等书任意解释，以符合当前的需要，甚至解释一个字也要用数万言，十分烦琐复杂，由于这种治学方法迎合统治者，所以今文经学在汉朝占上风。但东汉以后，随着汉朝的衰落，今文经学也衰落了，古文经学复起，最后成为正统。
司马迁拜孔安国为师，主要向他学习古典文献和古代历史方面的知识。孔安国教授古文经学，重心在于讲解《古文尚书》，特别是向他传授《尧典》《禹贡》《洪范》《微子》等篇，这些内容是司马迁后来写作上古夏、商、周三代史时的重要依据。
孔安国既能看懂古文（大篆）的经典，也通晓今文（隶书）的著作，他向司马迁传授将今古文两种经典融会贯通的方法，这对司马迁日后写作《史记》很有益处。
司马迁后来在全部《史记》中，列举的古代文献有《春秋》《国语》《尚书》《论语》《五帝德》《帝系姓》《谍记》等。由于经过孔安国的指点，他写历史的时候，总能综合对比各种原始资料，最后选择最合理的一种。
孔安国教导司马迁说：用古文字（大篆）写成的典籍的可信度很高，它们或者是远古的原始资料的记录，或者包含着时代久远的十分可靠的文献，现今听到的一切传说，以及搜集到的百家言论，都要用古文字（大篆）写成的典籍来验证。即使同样都是用古文字（大篆）写成的典籍，如果其中的内容有矛盾，就选取较正确的一种。
有一次，司马迁问老师孔安国：“《谍记》中记载黄帝以来到周朝的君王，都记载有年龄和在位年数，是否正确呢？”
孔安国回答：“如用《尚书》来核对，这种材料不可信。”
所以后来司马迁写《史记》的时候，不采用《谍记》中的记载，只作《三代世表》（黄帝以来到周朝共和元年的世系表），而不作年表。
司马迁又问孔安国说：“《五帝德》《帝系姓》中讲述黄帝、颛顼、帝喾的事迹，是否可信？”
孔安国回答：“我用《春秋》《国语》等书来核对过其中的内容，认为大致可以相信，但那些涉及神话的部分，就不能做历史事实看。”
所以后来司马迁写《史记》，叙述上述帝王时，兼采了《五帝德》《帝系姓》中的内容，但摒除了其中许多荒诞的神话，如说轩辕黄帝“乘龙扆云以顺天地之纪”，黑帝颛顼“乘龙而至四海”，帝喾“春夏骑龙，秋冬乘马”等。
司马迁又问老师孔安国：“《山海经》也是用古文字（大篆）写的，其中的内容是否可以全信？”
孔安国答复说：“《山海经》是一部写上古地理的书，其中夹杂许多上古神话，虽是用古文字（大篆）写的，也不可全信。”
所以司马迁后来在《史记》中说：“《山海经》中所说的神怪异物，我不敢写入史册中。”如《山海经》记载黄帝和蚩尤作战的故事是这样的：蚩尤请来能呼风的风伯、能下雨的雨师来助战，忽然纵起一场大风雨，黄帝立即请来一位天女，她名叫魃（旱神），会收云息雨，于是，狂风暴雨顿时消失得无影无踪，灿烂的阳光又照耀大地，黄帝的军队终于将蚩尤的军队围困，活捉了蚩尤并杀掉他。司马迁写《史记·五帝本纪》时，摒除了神仙助战的说法，只记述涿鹿大战的简况：“黄帝发动、率领各路诸侯军队，和蚩尤大战于山野，最后活捉了蚩尤，并将其处死。”
由以上可见，孔安国的古文经学对古文资料的选择和去留，十分严谨，不合理的绝对不用，司马迁在孔安国的教导下，以后记述历史时，从不相信臆造和妄说，去伪存真，极有章法。
司马迁后来写《史记·五帝本纪》的时候，在获取资料方面遇到了难题，因为《尚书》是孔子亲自修订的上古史经典，其开首一篇是《尧典》，说明孔子写历史只追溯到帝尧（登上帝位的尧）为止，对更古老的黄帝、颛顼和帝喾只字不提，而春秋战国时期产生的百家之言，其中虽涉及黄帝等古代帝王，却往往十分粗俗和荒诞，内容互相矛盾，司马迁实在不知道听信哪一种说法为好。
这时他想起了老师孔安国的教导：“在黄帝、颛顼、帝喾、尧、舜等人担任部落联盟领袖的五帝时代，人们结绳记事，象形文字系统还在草创阶段，这些原始帝王的事迹，大部分只保留在民间的口头传说中，所有的文字记载都是后来根据传说补记的。所以要复原五帝时代的历史，还是以搜集民间的口述史为最佳途径。”
司马迁按照老师的指示，于二十岁时开始游历全国的名山大川，去采集有关上古帝王的口述史，经过他细心的寻觅，发现了不少五帝留下来的遗迹，找到了很多当时儒士不重视的文献，他还将四方父老的叙述认真记录下来，融会贯通，去粗取精。他由此断定，黄帝、颛顼、帝喾、尧、舜五帝是确实存在过的历史人物，有关他们的传闻大致可靠。
司马迁记得，老师孔安国曾对他说过，黄帝是五帝的宗祖，因为《礼记》和《易》上都说，“黄帝正名百物，垂衣裳而治天下”。这就是说，给一切事物都规定一个统一的名称的是黄帝，规定民众都要穿衣服的也是黄帝，有了黄帝，才产生礼仪，华夏才进入文明时代。司马迁认同老师的这个见解：将黄帝定为宗祖是恰如其分的。司马迁还通过调查发现，黄帝以下的四个帝王的世系是前后相继的，他们的事业也是上下相承的。例如，颛顼是黄帝的孙辈，帝喾是黄帝的曾孙，帝舜是黄帝的七世孙。因此，司马迁将《五帝本纪》定为《史记》的第一篇，他的《史记》从黄帝写起，而不是从帝尧写起，就是确认黄帝时代是华夏历史的源头。由于作为中国史学之祖的司马迁和《史记》的影响，黄帝现在已经成为中华民族十三亿人公认的祖先。
《五帝本纪》的写作方法，也是司马迁向孔安国等古文经学家学来的。该文通篇只有三千四百五十字，但所依据的文献至少有十余种，如今文（隶书）或古文（大篆）的《尚书》《大载礼》《国语》《左传》《墨子》《庄子》《孟子》《韩非子》《战国策》《礼记》《吕氏春秋》《淮南子》等。这种严谨的治学方法，只有孔安国这样的古文经学家才有。
孔安国还教导司马迁说：如果古文献中对同一件史事有两种不同的说法，在写历史的时候，不一定只保留一种，也可让两种共存。
司马迁后来写《史记》时，多次采用孔安国教给他的这个方法。例如，关于殷、周两朝的始祖，在今文（隶书）经书和古文（大篆）经书中的记载是不同的，古文（大篆）经书上说，高辛氏生下契，契成了殷朝的始祖；高辛氏生下后稷，后稷成了周朝的始祖。高辛氏是谁？就是五帝之一帝喾，是黄帝曾孙，男性。这就是说，殷、周两朝的始祖都是有父亲的。但今文（隶书）经书上说，商朝的王族的第一个祖先是契。契没有明确的生父，契的母亲吞食了一只神奇的燕子（神的化身）产下的蛋，通感而有孕，结果生下了契；周朝王族的第一个祖先是后稷，后稷也没有明确的生父，他的母亲是炎帝后裔有邰氏的女儿，名叫姜嫄，有一天，姜嫄在野外看见一个大神的脚印，就踏上去，结果受到感应，怀了孕，生下了后稷，又名弃。司马迁让这两种说法都保留在《史记》中，《史记·三代世表》中记载了第一种说法，即两朝的始祖都有生父。《史记·殷本纪》和《史记·周本纪》记载了第二种说法，即两朝的始祖都没有生父。因为，两种说法都有古代传说作根据，都是远古真实历史的留影，并非后来的今古文经学家的杜撰。无父的神仙感应怀孕说是母系氏族社会的留影，当时每个人都只知道母亲，不知道父亲是谁；父生说是父权制时代的留影，当时已进入文明社会，每个人不仅知道母亲，也知道父亲是谁。
