刘邦和吕雉结婚之后，刘邦每日的工作就是在府衙忙进忙出之外以及帮助妻子操劳农活。因为膝下还有一对女儿，这个小家庭过得十分美满幸福。但是刘邦自幼就不是一个能够安于本分之人，一个小家庭的温暖还有儿女情长是不能让刘邦满足的。过了几年安定的生活之后，刘邦那颗不安于现状的心又开始蠢蠢欲动起来，因为没有事情可以让他解脱出来，他变得愈加烦闷，幸好这事，一件美事有效地缓解了刘邦的精神状态，这件事与秦朝的徭役制度有关。
当时，秦帝国的成年男子，除了每年为郡县地方政府服一个月的劳役外，一生中还要为国家服徭役一年，戍边一年。事实上，秦帝国农民的徭役负担很重，远远超出制度上的规定。按制度上的规定，沛县农民每年都要有人到都城咸阳为国家服徭役。浩大的秦始皇陵与阿房宫工程，常年需要几十万劳力。
当时，郡县被征调徭役的民夫，要由地方政府派人带领前往，并由带领者监管这些民夫。地方政府中的官吏，一般都不愿担任这一差事。因为这不仅要远离家乡，备尝旅途的辛苦，有时还要承担一些意想不到的风险，责任重大。秦法对带领民夫的官吏有非常严苛的要求与规定，违犯法规者将视其不同情节给予严厉的惩罚。
一日，刘邦正在亭舍中闲坐，胸中很是烦闷。恰巧曹参因公事路过这里，到亭舍休息片刻，顺便与刘邦叙谈叙谈。刘邦在烦闷之际见好友光临，很是高兴，邀曹参到刘娘酒店痛饮一番。曹参深知同刘邦饮酒不醉不休，而自己又公务在身，必须及时赶回县府，便谢绝道：“亭长，今日实在对不起，手头有一个紧急的案子要办，天黑前必须赶回县府。容我改日陪亭长喝个痛快。”
刘邦看曹参不像是说谎，也就不再勉强，说道：“这次就依了你，回去请转告萧功曹，就说我很想他，请他近日能抽空光临亭舍。到时候你随他同来，咱们痛饮一场。”
“恐怕不成，他近日忙得很哩。”曹参回答说。
“什么忙得很，做官还有不办公务的？”
“不是。近日郡里发下朝廷公文，又要调一批民夫到咸阳去服徭役……”
“徭役年年有，按规定征调就是了，这同忙与不忙有何干系？”刘邦打断了曹参的讲话。
“我不是说徭役的征调，是说萧功曹正为物色带队人犯难：合适的人选都已不止一次地去过了，不合适的人选又令人放心不下。你想，当宦的谁愿抛家舍业地受那份苦，又要冒些风险……”
刘邦挥手打断了曹参的谈话，他本来就烦闷，想同好友饮酒解烦，说什么公务在身；邀萧何近日前来，又说什么为物色带队人犯难，不由得更添烦闷。曹参见刘邦心情不好，自己又急于赶回县府，便起身而去。
曹参走后，刘邦心想：真是各有各的难处啊！人生在世，何必为这些不值得的……想到这里，刘邦精神不禁为之一振，喜上眉梢。他暗暗自语：带领民夫去咸阳服役算得了什么！出去见见世面，总比一生一世都呆在沛县要强得多吧，何不趁此机会到都城走上一遭。当晚，刘邦主意已定。第二天清晨，刘邦来到县府萧何的寓舍。虽说卯时未到，萧何早已伏案办公。萧何见刘邦大清早就赶到县府感到有些奇怪，以为出了什么事情，便问道：“亭长清晨光临，有何公干，莫非是出了什么事情？”
“没有什么公干和事情，是来看望看望。”刘邦面带笑容地回答。刘邦这种表情和回答使萧何更是一时弄不清是怎么回事，便说：“不对，你大清早就来到县里，必定是有事，是公事！对不？”
刘邦含笑不语，走近公案，公案上正放着与征调徭役有关的公文。刘邦有意地两眼盯着案上的公文，拖长了声调一字一字地笑着说道：“我哪里有什么公事，是朋友间的私事，我是特意前来为曹大人排忧解难的啊！”
萧何是个聪明人，他见刘邦两眼盯着公文语调特殊，联想昨晚曹参回到县府转告他的邀请和萧刘之间的对话，顿时明白了刘邦的来意，便笑着说：“亭长莫非是有意……”
萧何没有往下讲去，只是瞧了瞧案上的公文，二人会意，便一同放声哈哈大笑起来。
由刘邦带领民夫去咸阳服徭役，当然是合适的人选，萧何没有什么不放心的。刘邦近些时候心情总是烦闷，也好借此机会出去散散心，见见世面。然而，这毕竟是远离家乡，只身在外，加之责任重大，秦法又严，万一有什么闪失……因此，萧何无论怎样为带队人选犯难，也不能往好友刘邦的头上去想。这次刘邦主动要去，考虑到方方面面的原因，萧何这才勉强地同意他出去一次。萧何不愿在朋友面前说什么担心风险之类的话语，只是向朋友问道：“带队去咸阳的事，同嫂夫人说了没有？她同意吗？”
“说了，说了，她管不了我的事。”
从县府回家的那天晚上，儿女们睡下后，刘邦心情沉重地向妻子告知带队去咸阳的事。黑暗之中，刘邦看不到床榻上妻子的表情，也没有听到妻子在暗中啜泣。吕雉很理解和敬重丈夫，丈夫离家远行，她的心情可想而知。然而她近年来察觉到丈夫时常闷闷不乐，自己也不好问，心想：借此机会让他出去散散心吧，男人怎能总是守在家门口过日子？吕雉在丈夫面前，是个温柔和顺而又多情的妻子，但遇事时她又是个很刚强的女人，这就是《史记吕太后本纪》所说的“吕后为人刚毅”。因此，在夫妻即将暂时分别之际，吕雉并没有像一般少妇那样在丈夫面前哭泣，而是把痛苦埋在心中，劝丈夫用不着惦记家里，一路保重，节制饮酒，平平安安地早去早回。妻子的这种态度，使刘邦感到意外和无比的高兴。
时至中秋，吕雉在刘邦行前早已准备好了过冬所需的寒衣。且不说刘邦夫妻儿女相别时的千情百态，只见启程时县府中送别刘邦的场面，昔日那些好友们无不前来饯行。按往常惯例，每位替他饯行的官员都送给他三百钱，资助他旅途上的费用。当时，为官府服劳役抵债，每日的工钱是八钱，三百钱相当于一个劳力一个多月的工钱。只有萧何一个人送给他五百钱，刘邦很受感动，直到他做了皇帝之后，他还惦记着“何独以五”这件往事。
从沛县至咸阳，一路西行，大约有一个月的旅程。深秋季节，田地的庄稼都已收割入场，冬小麦麦苗刚刚破土而出，中原大地之上，远望黄绿相间，近看则一片荒凉。田野上看不到劳作的农夫，只有田边枯黄的杂草，秋风迎面吹来，一派凄凉景象。
刘邦同他带领的农夫，都是告别了亲人而踏上征程，怀着同样的心情向西方默默无语地行进，哪有什么兴致欣赏旅途上的风光。刘邦感到这一年的深秋很是别扭：往年深秋同妻子女儿在场院打场，喜庆丰收，各户人家都是喜气洋洋的，怎么今年深秋在田野上却见不到人影，一派凄凉？年过40的刘邦，难道不知道此刻农夫不在田野而在场院吗？这是由于刘邦在旅途上心绪不好。只有此时，他才体会到父母、朋友，特别是妻子儿女在他心中分量。
毕竟，刘邦出身于寻常百姓人家，在农村中长大，深知身服徭役的农夫们的疾苦。一路之上，他很关心农夫，有谁害了头痛脑热的，他都亲自问候。临行前同事们送给他的那些旅费，饮酒是用不尽的，况且他又很少独自饮酒。因此途中不时用自己的旅费买些酒食，让大家一同享用；他自己也喝上几杯，但由于公务在身，朋友们又不在场，他也没有兴致多饮。几百名农夫中有人同他年龄相近，但大多是20岁上下的青年男子，属于晚辈。刘邦的体恤农夫，使得他所带领的几百人对他无限感激和爱戴，没有一个人给他惹出什么麻烦。
刘邦带领民夫从沛县启程西行，一路上凄凄凉凉，心绪不佳，整日寡言少语，似乎自己变成了另外一个人。然而，走过函谷关进入关中秦国故地时，他的心情随着路旁的景观开始振奋，似乎从另外一个世界把自己寻找回来，恢复了自我。被他带领的民夫们看得清楚：队长边走边仰望左侧高耸入云的秦岭，有时又驻步凝视路基之下右侧远方的黄河、渭水，那犹如一条条白色的丝带，一片宁静的气氛同左侧山间的鸟鸣声，恰成相反的映照。
一路上刘邦沉默寡言，他贪婪地望着层出不穷的奇景，仿佛自己走入了另一个世界，观望而无语。刘邦的脑海中在不停的思索：大秦帝国的故土，确是一块形胜宝地，崇山峻岭，巨川大河，形势险要，无怪乎山东六国的联军总是不能越函谷关而西行一步，而猛如虎狼的秦军却是从西方居高临下，一举灭亡六国。这一切，都是刘邦身居沛县时无法体会得到的。走着走着，远处的山阳水阴之间，露出了帝国皇帝离宫别馆的殿影。秦自建国以来，西起雍都（今陕西凤翔），东至潼关黄河，“东西八百里，离宫别馆相望属”，所谓“关中计宫三百”，说明秦国多年来在渭水两岸所先后建造的庞大宫殿群，堪称数不胜数。风格各异的秦宫，夕阳映照，点缀在青山绿水之间，使刘邦神往而心花怒放。这时，刘邦才知道在家乡时常听老人们所讲述的天宫，其实不是在天上，而是在人间，就在他的视野之内。
刘邦同他所带领的民夫们全都被征途上的景观所感染了，一个个指指点点，欢声笑语，旅途的疲劳被驱散得无影无踪了。人们此刻的心情，如果说有什么不同的话，那便是民夫们更感兴趣的是山坡树上红透了的柿子，田间的茅屋农舍。而刘邦的视线，却始终不从此处彼处的宫殿上方移开。他是在想：建造这么多的宫殿，有一处不就够用了吗？要是自己，选择一个最好的去处，建造一个最好的宫殿，也就够一生一世享用了，何必建造那么多！驰骋的想象，使刘邦忘记了自己的身份。最终他无限感慨，山间的离宫，不也是人住的吗？他暗暗自语：何时能住上这种别馆，也不枉活一世！
刘邦所带领的民夫，报到地点是咸阳城东南的阿房宫工地，距咸阳尚有几十里的路程。进入工地后，民夫便在监管下投入了紧张而繁重的劳作，刘邦则借着职务上的方便，有机会仰瞻了雄伟的咸阳城墙和城楼，游览了城中繁华的街市，特别是有幸目睹了秦始皇帝车驾的出行。
秦始皇车驾出行，一般都是戒备森严，禁止老百姓观看。但偶尔也有破例的时候，即允许路旁的百姓观看，任人瞻仰，借以在乎民百姓面前显现他的神威。史书记载中的“纵观”，即是任人观看的意思。刘邦有幸赶上这一盛大场面，当时，警戒线之外，路旁人山人海，刘邦被人流涌至前沿，他叉腿站稳了脚跟，得以观看了皇帝车队在他面前驶过的全部情景：
车队前面的是类似兵车性质的所谓“高车”，每车驾清一色的四匹高头大马。车上笔直地站立着高大魁梧的卫士，手持兵器，身着盔甲，目光直视，威风凛凛。兵车之后是副车，即所谓“安车”。车上椭圆形车盖，车厢分前后二室，外表装饰华丽，前面坐着谦恭谨慎的驾车御官，也是每车驾清一色的四匹高头大马。副车过后是秦始皇帝乘坐的更为豪华壮丽的所谓“金根车”，车上驾六匹清一色的高头大马。金根车过后，又有副车、兵车驶过。整个车队浩浩荡荡地在刘邦眼前驶过，他感到眼花缭乱，也说不上有多少车驾驶过，行进了多少时间。
据文献记载，天子车驾出行，有大驾、法驾、小驾之分，除皇帝乘坐的金根车、五时副车之外，大驾有属车（包括兵车在内）八十一乘，法驾有属车三十六乘，小驾有属车九乘。秦始皇此次车驾出行，不是出函谷关巡行帝国的东土，当然不会配备有八十一乘属车的“大驾”；但他恩准百姓“纵观”，用配备九乘属车的“小驾”又不足以在百姓面前显现皇帝的神威；因而他下令配备有三十六乘属车的“法驾”。由金根车、五时副车、三十六乘属车和仪仗所组成的车队，可谓是浩浩荡荡了。
秦始皇当年所乘坐的车驾，实物当然难以保存至今。但是，1980年秦始陵出土的两驾铜车、铜马、铜俑系精美的仿真制品，大小相当于真车、真马、真人的二分之一，车与系驾的结构完全模拟实物，与真车马基本上没有差异，现已修复完好，公开向人们展出，使我们有幸从实物上分享刘邦当年所曾享受到的一点眼福。
当秦始皇的车驾从纵观的百姓面前驶过的时候，警戒线随即撤除，人群中顿时随之鼎沸起来。此时刘邦才如梦方醒，望着远去的车队，他情不自禁地感叹道；嗟呼，大丈夫当如此也！
刘邦也弄不明白，自己怎么会在大庭广众面前冒出了这样一句犯有杀头大罪的狂言。好在当时离散的观众人声沸腾，周围也没有什么人听全他这句话，但刘邦却对自己一字一字吐出的这7个字，听得清清楚楚。
《史记》中也记载了这则故事：
高祖常徭咸阳，纵观，观秦皇帝，喟然太息日：“嗟呼，大丈夫当如此也。”
这次纵观皇帝车驾出行，刘邦也有小小的遗憾，即没有看到始皇帝的“龙颜”，秦始皇当时并没拉开车窗。他不想让百姓看到他的龙颜，这不仅因为他有时微服私行于街头民间，以保自身的安全，也是为了不失自己的尊贵；但在有菱花形小孔的窗内，秦始皇可以看到窗外百姓沿途瞻仰他的盛况。刘邦虽然没有目睹秦始皇的龙颜，但他脑海中所想象的皇帝尊容，肯定会比实际要神秘与高大得多，因而对他具有长久的诱惑力。
第二年的秋天，沛县下一批来咸阳服徭役的民夫到达阿房宫工地，刘邦这才带领去年秋天来到这里的民夫启程返回家乡。
家乡毕竟是家乡，亲人毕竟是亲人。这里，且不说刘邦同父母、朋友、妻子如何叙一年多来的离别之情，也不说刘邦与萧何、曹参在饮酒间谈及他在关中、咸阳的观感，以及皇帝车驾仪仗和自己的口出狂言之类，而是有必要指出如下的事实：刘邦在关中、成阳神往离宫别馆和纵观皇帝车驾前前后后的那些日子，他早已把家乡的父母、朋友、妻子儿女忘得一干二净，仿佛自己成了另外一个世界的主人，同往昔断绝了一切。因而，虽然他已回到家乡的亲友身边，却仍对关中、咸阳不能忘怀，时时神往。
刘邦在关中忘却家乡，在家乡又神往关中，这就决定了他在第一次去咸阳之后，又多次隔年带领服徭役的民夫去咸阳，这就是《本纪》所说的“高祖常徭咸阳”。
在沛县生活了40多年的刘邦，熟悉的人物除了每日在田间劳作的农夫之外，就是官衙里出入的各色官员，除了萧何、曹参等好友之外，他其实一个也看不上。但是仅仅看不起守令和属吏就能说明他有大志吗？答案当然是否定的。自从带领民夫去关中，来到咸阳，刘邦才算见过了世面，了解到世间竟有这么多他从没见过的事情。刘邦就像一个从乡下来到城里的孩子一般对关中充满了好奇和向往。在他看来关中才是自己应该待的地方。
