唐代宗广德元年（763年）二月，一个月黑风高的夜晚，京城长安早已进入梦乡。除了深巷里不时传出数声寒夜犬吠和阵阵悠长的喊更声外。四下静寂无比。虽然整个长安城都进入了睡乡，但守卫各城门的神策军士兵却不敢有所松懈，含光门的守卫更是小心翼翼。在这寂静的深夜里，似乎可以听到守卫紧张的心跳声。
含光门是京城交通的咽喉，也是京师治安的重点。城门之内便是一条笔直的通往皇宫的大道，大道两侧排列着百官衙门。含光门外有一片西域风格的整齐建筑物，那就是皇帝赐给回纥有功者的邸宅。这名闻天下的含光门，自打回纥人来了后，不知发生多少起流血冲突事件。而每次冲突，吃亏的都是官军。这并不全是唐军无能，而是上司有命令严禁官军激怒回纥人。回纥统帅叶护是当今皇上的结拜兄弟，回纥兵又是再造大唐中兴局面的功臣，再说眼下四海尚未太平，皇上还得依靠强悍的回纥马队去粉碎叛逆的部队。所以朝廷下令：天下军民不可擅自与回纥士兵争斗，违令者一律格杀勿论。在这道命令的制约下，连骄横无比的神策军见了回纥兵也矮了半截，无不以溜之大吉为上策。正因为这个缘故，神策军士兵又无不视含光门当差为畏途。他们白日上岗就提心吊胆，到了夜晚更是战战兢兢。但越是担心差错，就越容易出差错。刚才还是毫无人迹的城门口，一下子不知从哪里冒出十五、六个全副武装的回纥汉子，守门士兵还没有弄懂这帮回纥人叫嚷什么，回纥人就将他们的武装解除了。没等援兵赶到，回纥人又一阵风似的冲进城里。
进了城门，回纥人根本搞不清官道两侧一溜官舍属何许衙门。只有鸿胪寺比较熟悉，于是就一窝蜂向鸿胪寺拥去，守门士兵见势不妙，既不敢呵责，又不敢阻拦，弃门而逃。这一下，平素门禁森严、负责接待四方少数民族的官衙，顿时成了回纥游兵散勇的游乐场，他们在官衙内乱喊乱叫，奔突跳窜，见物就砸，逢人就打。眼见鸿胪寺内一片狼藉，回纥汉子才扬长而去。回纥人一番打砸抢后，他们还不过瘾，又冲出中渭桥，在桥头将前来阻挡的官军打得落花流水，夺路而逃。频频得手的回纥人，此时气焰更加嚣张，在折回含光门时，又乘乱将代表官府信符的含光门鱼契（即鱼符）抢走。
等到合城官军惊动起来，准备搜捉闹事者时，这数十名回纥人早已窜到城外，不知去向。
长安人虽然气愤，却也不太惊奇，因为，他们觉得，回纥人今晚的举动只不过是一场小小的骚乱，比起他们在洛阳的三天公开抢掠又算得上什么？比起他们在进军中原时，沿途进行的劫掠抢杀来，今晚的小骚乱又算什么？但是这场小骚乱却引起了常衮等人的不安。
第二天早朝，神策军将领向皇帝详细报告了昨晚骚乱的全部经过，皇帝和百官听后，面面相觑，神情尴尬。大臣们心想，借回纥兵收复两京平定叛乱是前朝皇帝定下的国策，至今虽已弊端丛生，却不好贸然开口，万一忤了圣上的意思，那就要吃不了兜着走。当朝皇帝李豫心中也有难言的苦衷。想当年，回纥人确实帮了肃宗皇帝的大忙。那时皇帝手下只有数千名士兵，凭这点微弱的军事力量，不要说去收复两京，连自身安全都难保。请来回纥兵后，形势大变，香积寺一役，回纥兵与唐军联合作战，直杀得安史叛军尸横遍野。为了早返京城，肃宗皇帝不惜与回纥人约法如下：“京城克复之日，土地士庶归唐朝，而金帛子女全归回纥。”“这真是高妙而又荒唐的条约！”李豫回首往事，感慨万分：若没有这个条约，回纥人哪里会拼死作战，两京也不会收复得如此之快，但又正是这个条约，迫使自己在回纥统帅叶护的马前拜求多时，才免除了长安城被劫掠一空之灾，如依旧破败不堪、满目凄凉的东都洛阳就是这条荒唐条约带来的苦果。李豫又想到，当年刚进入中原作战的回纥人是何等淳朴，何等遵守节制，如今却是尾大不掉，难以驾驭。游兵散勇打家劫舍，侵扰民间，这还算不了什么，近来回纥人正与那些不服朝廷管辖的节度使打得火热，这才是心头大患啊！李豫心里矛盾至极。两班大臣，一个个唯唯诺诺，吞吞吐吐，更惹得李豫心烦。“如之何？如之何？”李豫一边听神策军将领禀报，一边暗问自己。
神策将领刚刚禀报完毕，礼部侍郎常衮就出班拜伏在丹墀前，向皇帝陈述自己的看法：“陛下，如今盘桓在边境上的吐蕃、回纥、突厥诸部，经常入侵内地，有时竟深入京畿，如入无人之地，京城内外又驻扎着许多回纥人，假如他们相互勾结起来，里应外合，后果不堪设想，此则朝廷之心腹大患也，请陛下早作防范……”
“好一个常衮，真不亏是朕的心腹。”在众官面前，李豫不便叫常衮详陈方略，散朝后，特召常衮入内殿，与他密议对策。常衮建议加强河朔地区的边防，驻以重兵，阻遏西域诸强悍部族南下之势，对京城内外居住的回纥人要严加控制，彻底割断回纥与内地反叛力量的联系。为协调河朔驻军的行动，加强朝廷对边陲守军的节制，保卫京师，常衮主动要求去朔方带兵。李豫对常衮的建议十分重视，并派他去朔方配合诸道节度使防范西蕃入侵。
就这样，常衮不恋闲适的翰苑，来到军情紧急的河朔边防，由皇帝身边的近侍一变为身系朝廷安危的封疆大吏。
大历三年，常衮在朔方任府帅。常衮为帅宽猛相济，十分注重收罗培养将才。当时常衮手下的将领，最著名的就是“呷醋节帅”护戎任迪简。任迪简的这个诨名来自这么一件事，任迪简尝为天德军判官。有一次，军使李景略宴客，任后至，被罚以大杯饮酒。负责酌酒的军吏误把醋当酒给他斟上。一杯在手，任迪简嗅之便觉不妙，想告诉主人，但转念一想，李景略是个出了名的脾气暴烈的武夫，若让他知道实情，必然要严刑诛杀手下人。想到这里，任迪简便将错就错，硬着头皮将一大杯酸醋一口吞下。谁知醋性浓烈，一杯下肚，连呛带咳，鲜血便从口中喷出。任迪简最后只得让人扶归。军中官兵无不为任迪简的行为感动得落泪。这宽以待人的举动也感动了李景略，从此他再也不严刑责罚手下人了。等到李景略死后，军中将佐联名表奏朝廷，要求让任迪简接任李景略的官职。
对任迪简这个爱兵如子的将领，常衮十分器重。他俩不仅共商军阵之事，而且还时常一同宴游。两人在朔方期间特别喜欢造访在塞上传教弘道的律宗高僧辩才。辩才是负有玄宗和肃宗两个皇帝特殊政治使命的御用僧人。天宝十四载，为了驯化塞上少数民族强悍好斗的民风，玄宗特下诏令，让辩才从内地到朔方传教弘法，临坛度人。肃宗至德年间，又诏加辩才为朔方管内教授大德，命他广泛宣传佛教义理，开化塞上边民。辩才不负皇帝厚望，多年来栉风沐雨，辛苦教化，赢得不少信徒。当仆固怀恩造反时，辩才又以佛教的特殊力量，保护了不少汉族居民的生命财产。常衮虽是一位正统的儒臣，对佛道耗财多有不满，但对辩才这样的高僧却很崇敬。从辩才的传教活动中，常衮看到佛教具有某种车事力量无法取代的作用，所以，他不仅赞赏辩才的教化苦心，还给辩才的传教活动以有力的支持。在朔方期间，常衮屡次以官府的名义，筹资兴建佛寺，以至塞上漠北，佛寺林立。
数年的河朔军旅生活，使常衮开阔了视野，增加了阅历，提高了办事能力，从而为登上宰相职位创造必要的条件。
