公元1045年，宋仁宗庆历五年，柳永六十二岁
身在异乡，虽然凄苦，但好歹太守刘沆对自己颇为赏识，再加上湖南潭州也是个山水清秀的地方，因此这在一定程度上也缓解了柳永的悲伤情绪。
在潭州任职的这段时间，柳永在一个雨后的夜晚，游览了湖南宁远的九嶷山，借着月光向外瞭望，只看到残月当空，一片白茫茫的雾气笼罩着江面，而这个时候远处飘来的一阵羌笛声，勾起了自己的思念故乡的愁绪，也让柳永想起了远在汴京的佳人故友，只可惜自己现在远在异乡，天高路远，音信全隔，已经很久没有听到故乡的消息了。
《轮台子·中吕调》
雾敛澄江，烟消蓝光碧。彤霞衫遥天，掩映断续，半空残月。孤村望处人寂寞，闻钓叟、甚处一声羌笛。九凝山畔才雨过，斑竹作、血痕添色。感行客。翻思故国，恨因循阻隔。路久沈消息。
正老松枯柏情如织。闻野猿啼，愁听得。见钓舟初出，芙蓉渡头，鸳鸯难侧。干名利禄终无益。念岁岁间阻，迢迢紫陌。翠蛾娇艳，从别后经今，花开柳拆伤魂魄。利名牵役。又争忍、把光景抛掷。
在湖南潭州任职的这段时间，柳永做了不少行役词，表达自己在各地任职，久沉下僚的愁闷之情，但凡愁闷之情升起的时候，总伴随着相思之苦，因此柳永便把这两种情绪合二为一，比如这段时期做做的《迷神引》、《安公子》等词。
《迷神引》
一叶扁舟轻帆卷。暂泊楚江南岸。孤城暮角，引胡笳怨。水茫茫，平沙雁、旋惊散。烟敛寒林簇，画屏展。天际遥山小，黛眉浅。
旧赏轻抛，到此成游宦。觉客程劳，年光晚。异乡风物，忍萧索、当愁眼。帝城赊，秦楼阻，旅魂乱。芳草连空阔，残照满。佳人无消息，断云远。
这首词是柳永承着小船定考在楚江南岸，听到孤城中想起阵阵角声，又有一曲胡笳呜咽哀怨，江水上面一片白茫茫的景象，沙滩上栖息的大雁请客都被惊散了，遥远的群山就如同美人弯弯的黛眉一样浅淡。
看到这种景象，柳永想起了自己离开心上人，宦游至此，深深的感到了记录劳顿，这几年当中，每年自己都要根据朝廷的调令来回辗转，看到各地的不同景象，但映入眼帘的都是一派萧瑟之景。
京城距离自己烟雨飘渺，曾经秦楼楚馆如今也不得再去，那里的佳人很长时间都已经音信全无了，就好像是被风吹走的浮云一样一去不返。
《安公子》
远岸收残雨。雨残稍觉江天暮。拾翠汀洲人寂静，立双双鸥鹭。望几点、渔灯隐映蒹葭浦。停画桡、两两舟人语。道去程今夜，遥指前村烟树。
游宦成羁旅。短樯吟倚闲凝伫。万水千山迷远近，想乡关何处。自别后、风亭月榭孤欢聚。刚断肠、惹得离情苦。听杜宇声声，劝人不如归去。
这首《安公子》表达的也是柳永靠着船舷远望，天空布满了乌云，如同黄昏一般，江面上芦苇飘荡、渔灯点点，远处隐约有一处村庄，但是自己的家有在哪里呢？如今自己早已成为了他乡客，每想到这一点自己都肝肠寸断，偏偏这个时候自己又听到杜鹃在一声声叫着“不如归去”，更是令自己愁绪倍增。
即便是已经这样痛苦了，但劳役的日子仍然没有结束，在潭州还没有享受到几天消停日子，又是一纸调令送到了柳永眼前，这一次他要求陕西华州任通判，眼看这又是一段从秋天走到冬天的路程，想起当初自己三年前给仁宗写的《醉蓬莱》，换来这几年的颠沛流离，何苦来哉！
这年秋天柳永出发去陕西的时候，心里其实是窝着一肚子怨气的，“恁驰驱、何时是了”，他也不禁问自己，这样被人各处安排，什么时候才是尽头啊，一天天的赶路，就好像这路永远是走不完死的，好不容易一天晚上睡了个好觉，大早晨的，还被鸡叫给吵醒了，又要匆匆赶行程，看着这一路上萧瑟的景色，原来最凄凉的就是这慢慢的宦海之路。想想自己这奔波劳苦的这一生，年轻的时候不懂的珍惜，跟佳人聚少离多，而现在自己这一番心事，想说出来都不知道该对谁说，如果能再回到汴京见到自己的红颜知己，即便是千金换的佳人一笑也值了，这一切都写进了柳永的这首《轮台子（中吕调）》里面了
《轮台子（中吕调）》
一枕清宵好梦，可惜被、邻鸡唤觉。匆匆策马登途，满目淡烟衰草。前驱风触鸣珂，遇霜林、渐觉惊栖鸟。冒征尘远况，自古凄凉长安道。行行又历孤村，楚天阔、望中未晓。
念劳生，惜芳年壮岁，离多欢少。叹断梗难停，暮云渐杳。但黯黯魂消，寸肠凭谁表。恁驰驱、何时是了。又争似、却返瑶京，重买千金笑。
中途柳永游历了古都长安，在经过灞陵桥的时候，看到桥上人们折柳想送，睹物思情，想起了自己多年宦游异乡的处境，不由得悲从心中来，只好依着船栏，独自往前方驶去。
《少年游·参差烟树灞陵桥》
参差烟树灞陵桥，风物尽前朝。衰杨古柳，几经攀折，憔悴楚宫腰。
夕阳闲淡秋光老，离思满蘅皋。一曲阳关，断肠声尽，独自凭兰桡。
词中的“灞陵桥”在长安东，古人送客至此，折杨柳枝赠别；“蘅皋（héng gāo）”指长满杜蘅的水边陆地；“兰桡（ráo）”桡是船桨的意思，兰桡指代船。
这年冬天，柳永终于到达了陕西华州，也就是现在的陕西省渭南市华州区，一个陌生的地方，但是对于柳永而言，正如“莫愁前路无知己，天下谁人不识君”所说的一样，人有才气，自然到哪里都会有朋友。
此时的陕西华州太守叫李丕绪，为人不慕名利，但对金石书画非常热爱，这爱好自然与柳永相符，因此两人相处倒也很融洽。
与人相处虽好，此景却不似当时，柳永望着华州的山水，忽然这给自己带来了巨大的陌生感，既不似初来的那般陌生，也不似常居此地的那般熟悉，这些年来自己辗转各地，好像已经无边辨别自己到底身在何处了，就跟一个浮萍一样随风飘荡，居无定所。
