不久，一所气势恢宏的宅第在长安落成了。武帝亲自领着霍去病去看，笑道：“此乃朕亲自为你设计的宅子，爱卿以为如何？”霍去病看也不看，微笑着摇了摇头，一句千古名言脱口而出：“匈奴不灭，无以家为也。”武帝听了，不怒反喜，更加看重霍去病了。
又过了不久，武帝请了一个名士，准备教授霍去病孙吴兵法。霍去病却道：“不必学古兵法。用兵方略，当因地制宜，应时而动，灵活而定。”武帝听了，微微一笑，说既如此，那你就与这位名士过过招吧。于是二人辩论了半日。完毕之后，那人对武帝叹道：“骠骑将军虽然没有学过古兵法，但所谈所论，无一不合古兵法，真是天资过人啊！”……
又过了一些时候，武帝为霍去病说了一门亲事。霍去病见那女子相貌端庄，举止贤惠，便欣然应允。武帝得知，也相当欢喜，便令人吹吹打打，为霍去病举办一个隆重的婚礼。
卫青、霍去病二人显赫后，京城中有歌谣说：“生男无喜，生女无怨，独不见卫子夫霸天下。”意思是说卫氏一门的显贵全靠了卫皇后。事实当然不是这样的，卫青、霍去病都是在战场上出生入死，浴血奋战，为国家做出了重大贡献，因军功显著才得以封侯的。
这年夏天，霍去病与合骑侯公孙敖共领数万骑俱出陇西、北地，然后分别领兵行进。霍去病部出北地后，逐步深入。公孙敖部则迷失了方向，难以再呼应、支援霍去病部。但霍去病无所畏惧，挥军一路向前，远离边塞达二千余里，过居延泽，攻至祁连山，杀死和俘虏匈奴三万余人，其中有裨小王以下七十余人。
汉军寻击匈奴。匈奴人反过来也袭扰汉廷，入侵代郡、雁门，杀略数百人。于是博望侯张骞、郎中令李广奉命俱出右北平，寻击匈奴左贤王。出塞后，李广领四千骑先行，张骞御万骑于后。不久，匈奴左贤王发现了李广部，立即挥指数万骑包围了他们。双方大战二日，李广部死者过半，但所杀的匈奴人超过了己方的阵亡人数。形势正危急时，张骞部赶到了。左贤王见势不妙，立即下令退兵。
回朝后，计算功过。霍去病部使敌人损失了十分之三的人马，故霍去病的食邑增加了五千四百户。校尉一级的军官，凡从至小月氏者，皆赐爵左庶长（爵名，第十级。）。鹰击司马赵破奴率部斩速濮王（匈奴王号），捕匈奴稽且王之右千骑将，得王、王母各一人，王子以下四十一人，捕虏三千三百三十人，前行捕虏一千四百人，故被封为从骠侯。匈奴人、校尉高不识捕呼于耆王王子以下十一人，捕虏一千七百六十八人，被封为宜冠侯。校尉仆朋亦功劳甚大，被封为辉渠侯。合骑军公孙敖与博望侯张骞都误了日期，以致两军不能如期会合，影响军机，当斩，后两人缴纳了一定的赎金后，皆变成了庶人。
这年秋天，伊稚斜单于对居住在西方的浑邪王、休屠王被汉朝杀死和俘虏数万人的事感到愤怒，想召见并诛杀他们。浑邪王与休屠王感到恐惧，密谋投降汉朝，武帝派骠骑将军前去迎接他们。中途，休屠王想反悔。浑邪王杀了休屠王，合并了他的军队，领着全部的部属投降了汉朝。人数总计四万余人，号称十万，以从心理上打击伊稚斜单于。
汉廷自从接受浑邪王投降之后，陇西、北地、河西遭受匈奴侵扰的事越来越少，就逐步把关东地区的贫民迁徙到从匈奴那里夺回来的河南地、或曰新秦中地区，以充实这里的人口，并将北地以西的戍卒减少一半。
元狩三年春，伊稚斜单于向右北平、定襄各派出了数万骑兵。两地被杀略的人口总计达一千余人。
元狩四年（公元前119年）春，武帝决定发动更大规模的反击。这个时候，伊稚斜单于已按照翕侯赵信的谋划，迁移各部落，居于大漠之北，自以为绝远而汉兵不能至，或者即使来了也难以久留，站不稳脚跟。武帝却不信邪，明知山有虎，偏向虎山行，明知路途过于遥远，却偏偏敢于派兵前去攻打。当然，出征之前，得做好万全的准备。为提高马的体力与耐力，武帝下令皆以粟饲之。
不久，各种物资都准备好了。作战主力总计十万骑，霍去病与卫青各领一半；但十万骑中，敢力战、敢深入之士都被调拨给了霍去病。除十万骑主力外，自愿备马、自愿担负衣食等物、自愿随军出征的人达四万余。这些人被妥善地分配到了两军之中。兵马未动，粮草先行，后勤兵团自然也不弱。其中车马自是数不胜数，负责转运粮草辎重的步兵达数十万。
