安史之乱，大大动摇了李唐王朝的国基，大唐国力从此由盛转衰。社会大变动也严重地冲击原有的官僚体系，产生新的淘汰、组合、升迁，而日复一日频繁的军国大事又为新进有为之士提供了迅速升迁的机会。
天宝十五载七月，潼关失守，唐明皇弃城西狩，刚行到马嵬（今陕西兴平县西），陈玄礼等将士突然发难，在七月的骄阳下演出了一场震惊古今的马嵬兵变的“活报剧”。权倾朝野、显贵无比的杨国忠、韩国夫人、虢国夫人等先后被愤怒的近卫军砍倒在黄土尘埃中，噪动的士兵又逼迫皇帝降旨让杨贵妃缢死在马嵬坡前的佛堂上，陈尸于驿庭，这样，一场几乎危及李隆基本人身家性命的兵谏才平息下来。正当惊魂未定的唐明皇要继续西逃之际，闻讯赶来的关中百姓又拦住皇帝的马头，一个个声泪俱下地恳求唐明皇留下来领导臣民抵抗叛军。逃命心切的皇帝，只好答应将太子李亨留下宣慰父老乡亲。即便如此，感情激奋的百姓仍不肯散去。此时，长期服侍太子的内监李辅国一跃而起，双手把唐明皇坐骑的马缰绳紧紧拉住，逼迫皇上在马上颁布政令，任命太子为领导臣民抵抗叛军的主帅。尔后，众人才放玄宗西去。
目断青天，唐明皇一行消失在黄土飞扬的官道尽头。不知所措的太子一筹莫展。有人出来献策，劝太子投奔灵武（今宁夏灵武县一带），因为李亨担任朔方节度大使时就驻节此地。此时的太子别无良策，也只好走一步看一步了。
历经艰辛，李亨一行终于到达远离叛军的灵武。清点一下人马，手下尚有屈指可数几名忠心耿耿的属官和内侍以及不足千人的士兵。
望着这些面目黧黑、困苦不堪的下属，因人及己，太子好不心酸。为了安抚大家，李亨向众人许诺，将来重返京城，眼前各位都是劳苦功高的龙兴之臣，一定要加以重用。太子的许诺犹如止渴之梅，人们不顾一路上的辛苦，又开始争先恐后地为太子出谋划策。这一路上，李亨对官阶低微的常衮格外注意。觉得此人虽然年青（当时常衮二十八岁），却老练持重，危难之中，始终紧随自己，无所求，从不抱怨，一有拟议写作文告之事，立即一挥而就，文辞义理比唐明皇手下那班翰林学士还高出一筹。再加上一路上常衮与自己的儿子广平王李豫（初名傲）谈得极其投机，两个年龄相仿的年轻人在患难中消除了因地位差异而形成的隔阂，成为无话不谈的好友。因此，李亨已暗中决定要起用常衮，让他担任更为重要的官职。
两个月后，太子李亨终于在群臣的拥戴下，即位于灵武。战乱中登上皇帝宝座的李亨知道自己首要的任务是提拔一批才识过人又忠心耿耿的辅佐良臣。环顾左右，常衮也被定为越级提拔的人才，由太子正字提升为职掌侍从讽谏的补阙。稍后，常衮又被任为起居郎。按唐代职官制度，起居郎属门下省，编制为二人，从六品，职掌天子的起居法度，每逢天子登御正殿召集臣下时，起居郎站在皇帝的左旁，起居舍人站在右边，皇帝若有诏命要发布，起居郎即拜俯在陛阶前细心聆听，听毕退下，将皇帝的诏命一字不漏地记录下来作为原始资料，于季末，交给国史馆，以供修史用。从表面上看，起居郎不过是皇帝的高级文书，但由于起居郎可以直接聆听天子之音，又担负着将皇帝诏命记录下达的重任，不是皇帝亲信可靠之人，不是文思敏捷的翰墨名流是不可能获此清要之职的。由此可见，常衮在肃宗心中，虽然没有李泌、房等人那样重要，但决非等闲之辈可比。
然而常衮真正在仕途上腾达起来，还是广平王李豫当皇帝以后的事；唐代宗宝应二年（763年），年方三十五岁的常衮被授为翰林学士、考功员外郎中、知制诰三个清要之职，一下子由肃宗皇帝的文书而超拔为替代宗皇帝起草诏书诰命的高级秘书。三年后，常衮又获升迁。永泰二年（766年），常衮被任命为中书舍人。这次升迁，在职掌上没有发生多大的变化，但官阶却由六品升到五品。按照唐代的习惯，翰林学士、中书舍人之职，非进士出身不获，而宰相也多是从这两类官员中选拔，所以唐代读书人十分看重翰林学士和中书舍人的职务，称之为清要，喻之为“一条冰”，唐代诗人贾至曾写诗吟咏中书舍人等天子“侍臣”与皇帝的亲密关系：“剑佩声随玉墀步，衣冠身染御炉香，共沐恩波凤池里，朝朝染翰侍君王”（《早朝大明宫呈两省僚友》）。与常衮同时授任中书舍人的，还有杨炎。后者就是在德宗朝创立“两税法”，而被后世历代王朝奉为理财治赋圭臬的著名财政改革家。常杨二人官职相等，志趣也很投合，时人将他们并称为“常杨”。
担任中书舍人一职，是常衮从政生涯中很重要的一页，这是向宰相之职升迁的重要奠基石，而且，在中书舍人职位上，常衮也干了几件震动朝野的大事。
常衮任中书舍人时，正是大太监鱼朝恩最为专横跋扈的时期。鱼朝恩曾以内监身份节制在外征战的将领，观军容使的官职就是鱼朝恩在肃宗至德年间（756—758年）首先担任的。以后皇帝又把神策军的指挥大权交给了这位战场上屡打败仗却善牵制将领的大太监。当唐军浴血奋战从安史叛军手中夺回沦陷数年的东都洛阳后，首先被封为冯翊郡公的也就是这位惯向皇帝打小报告的皇家鹰犬。到了代宗年间，鱼朝恩又以率神策军迎立李豫入继大统的功劳，被加封为天下观军容使。权倾朝野、重兵在握的鱼朝恩，目中无人，猖狂至极，顺昌逆亡，稍不遂意者他就非要将你整得家破人亡，妻离子散。鱼朝恩还在北军私设了人称“地牢”的监狱，不知滥杀多少无辜之人，他又借消除异己的机会，把许多人的家产占为己有。对于这样一个无恶不作的宦官，不仅一般朝官不敢得罪他，就连号称至尊的代宗皇帝也慑于其威势，敢怒不敢言，每日虚与周旋，只能静待时机将他铲除。
代宗大历元年（766年）八月，被叛军毁坏的国子监又重新落成。为了显示朝廷对儒学的重视，特地举行庄严隆重的释奠礼。随着司礼官的号令，钟鼓笙磬齐鸣，悠扬肃穆的《韶乐》在国子监的梁栋间盘绕回旋，自宰相以下，百官无不随司仪号令，向大成至圣的孔老夫子像膜拜顶礼。《韶乐》未停，鱼朝恩就手持一本《易》经大模大样地登上主讲席。在百官惊诧的注视下，操着那不男不女的阴阳腔，高讲起“鼎覆悚”来。这个讲题是从《周易》中“鼎折足，覆公悚”两句话引发出来。鱼朝恩哪里是在讲经，他略去三公如鼎足可以辅佐国君之意，大讲鼎足折断倾覆美食的话头，借此对讲席下的三公九卿，特别是宰相元载、王缙大加讥讽。面对鱼朝恩的刻薄语言，元载装着一点听不懂的样子，露出满脸笑容，不显深浅。只有王缙的脸上显出不平的怒色。但仅此而已，也奈何他不得。事后，鱼朝恩便对亲信说：“怒是人之常情，笑实在是意不可测呢。”当时，讲席上的鱼朝恩只把注意力集中在元载、王缙身上，他没有看见在元载、王缙身后怒不可遏的中书舍人常衮。对鱼朝恩的专横行径，常衮早就心有不平之气，今天又目睹他在士子心目中的圣殿——国子监讲席上的丑恶表演，一种奇耻大辱的感受憋得他好几天食不安、睡不宁。
数日后，情绪还没平复的常衮又听到消息说：朝廷决定以鱼朝恩行侍监兼判国子监事。至此，常衮再也按捺不住对阉竖的愤恨，毅然不顾身家性命之危，直接向当朝皇帝上了一道义正词严的谏表：“国子监祭酒当以学深德高的名儒担任，这是圣人之遗教，而今以宦官充任，实在有辱斯文，玷污圣教，望陛下以天下文运为重，万万不可以内宦领国子监事。”在鱼朝恩实权在握、气焰熏天的时节，常衮这一纸奏章很难唤起代宗与太监抗衡的勇气，鱼朝恩领国子监的诏书还是下达了，但常衮敢于直接向鱼朝恩挑战的勇敢行动，却博得了朝野上下的赞誉。
常衮不仅敢捋虎须，他也敢拂逆龙鳞，他还曾对皇帝直言进谏。大历元年十月十三日，是代宗皇帝四十岁的生日，当时称作“天圣节”。宫里宫外为了给皇帝做寿忙得不亦乐乎。数月之前，长安官道上，各道节度使派来给皇帝送寿礼的队伍就络绎不绝了。西域送来高大健壮的骏马、昆仑美玉；南方贡献了明月之珠，犀角杯、象牙床、珍禽异兽；西蜀也送来粉刷宫墙的贵重颜料——丹青和蜀锦；东南各地不甘落后，纷纷把当地最有名的稀奇物品贡献至京……迤逦百米马驮车载着精美绝伦的寿礼使围观的小民百姓忍不住咋舌念佛。
就在李豫陶醉于祝寿的热闹气氛之时，太监将特来求见的中书舍人常衮引到皇帝座下。代宗之所以允许常衮在这时入宫言事，毫无疑问是想听听这位以文辞华瞻著称的翰苑名流高妙动听的祝寿词。
但常衮一开口，那严肃激动的语气便使皇帝吃了一惊。
“陛下”，跪俯在丹陛前的常衮开口就是诤谏之辞，“从前汉文帝过生日，臣下送来千里马，汉文帝瞧也不瞧便打发回去；晋武帝诞辰，愤然将臣子所送的雉头裘烧成灰烬；南朝宋高祖刘裕为了惩戒侈奢的陋习，不惜在寿宴上将珍贵的琥珀杯砸得粉碎。这三位君主算不上绝顶圣明睿智之人，但为了国家的长治久安，他们都能以清俭自律。陛下圣明睿智超过他们万万，吾愿陛下也能却浮华，退寿礼，此诚旷代明主之举，望皇上三思。如今各道节度使争相给皇上贡献厚礼，此风一开，世道大坏。再说各道节度使、刺史自己不耕不织，他们所奉送的礼品，还不是从老百姓那儿搜刮来的，他们这样做是为了求宠献媚，而实际上是把百姓的怨恨集于陛下一身，此诚有害陛下之举也！”
本是满腹怒气就要发作的李豫，听到最后，竟也被常衮义正词严、情深意切的话语说得怦然心动。为了安抚常衮的正直恳切之心，也为了阻止他说出更加难听的话，李豫便劝慰道：“爱卿言之有理，容朕慢慢深思……”
但言犹未尽的常衮却不理会皇帝的劝慰，又倔强抬起头说道：“当今陛下的军队征讨叛逆，绥靖海内的宏业尚未完成，京畿人口十不存一，百姓仍在水深火热之中，正日夜盼望陛下能把他们从苦难中解救出来，而各个寺庙道观为陛下祝寿而兴起的写经、塑像以至焚钱埋玉的活动愈演愈烈，陛下为此赏赐给和尚道士、巫婆神汉的钱财也不知有多少万，若用这些钱去购买粗粮，赏给无衣无食的贫苦百姓，天下因此而获得的福祉将比南山还高，比东海还深！”
“爱卿之言真正是良药苦口，爱卿即是朕的魏徵。”李豫用赞扬之言将常衮打发出宫。虽然他并没有按照常衮的劝谏将寿礼退回去，但为嘉奖常衮的忠心和正直敢言，李豫下诏将他升为礼部侍郎。
礼部侍郎本不是什么显赫官职，但从开元二十四年（736年）以来，却成为百官和举子心目中的要职。那一年，朝廷依照惯例派吏部考功员外郎李昂主持科举考试。考试中，发生了考生李权辱骂主考李昂的事件。事发后，玄宗召集大臣进行讨论。大家认为，考功员外郎品位太低（从六品上）不能主持全国性的考试。于是决定此后常科考试就由礼部侍郎（正四品上）主持。这一来不仅大大提高了礼部的地位，而且也使礼部侍郎成了每年科举考试中举足轻重的人物。
中唐前后，六部尚书之职长期由宰臣或藩帅兼领，作为六部的长官——尚书渐渐被架空，而成为有名无实的空职。而真正行使各部长官之权的却是各部的侍郎。
常衮出任礼部侍郎伊始，就碰上了棘手的难题，这个难题就是科举考试中来自权贵们的请托。
天宝年间，礼部侍郎达奚殉主持考试，本不准备录取宰相杨国忠的儿子杨暄，但在杨国忠一阵雷霆般的咆哮后，便乖乖地将杨暄录取，并名列前茅。随着唐王朝由盛转衰，请托舞弊之风也日甚一日。
大历年间（766—779年），宦官中地位仅次于鱼朝恩的就是刘忠翼，此人与鱼朝恩既相勾结又相倾轧。
此外，泾原节度使马辚也是个炙手可热的藩帅。依仗手中的雄兵和历次战斗中立下的武功，马磷时常要挟朝廷给予种种特权。如在大历元年，马磷以本镇荒凉破败难以养兵为由，要朝廷割给一处富庶之地作为取食的后方，而且还威胁道，如达不到这一目的，今后朝廷休想依靠泾原兵出征打仗。李豫出于无奈，只好暗示另一个节度使将富庶的郑、颍二州让给马磷管辖。大历九年五月，马磷入朝拜谒皇帝，临行前，他暗示手下的将士上表皇帝，求封马磷为平章事（宰相）。出于笼络的需要，李豫也只好同意授马磷为左仆射。
尽管刘、马二人在皇帝面前气焰熏天，有求必应，但这次却在常衮面前碰了个大钉子。
常衮一任礼部侍郎，刘、马二人就先后差人来为他们的亲朋故交说情，要求录取他们为进士或取得入学弘文馆、崇文馆的资格。为什么刘、马二人要为子弟入学两馆而请托常衮呢？原来两馆就是唐代最著名的贵族子弟学校，入了两馆就不愁今后没官做。弘文馆系太宗李世民即位后将修文馆改名而来，属门下省，生员编制三十名；崇文馆属太子东宫，生员编制二十名。两馆学生人数少，入学资格卡得很严，所谓严，并不是对学生品行有很高的要求，而在于家庭出身要特别高贵，只有皇帝、皇后、皇太后的近亲，宰相、功臣及三品以上官员的儿子才有入学的资格。僧多粥少，入学两馆往往演变为官僚之间的激烈争斗。加上两馆学生功名易得，而且考试要求却远远低于其他举子。按唐代的规定：两馆学生，帖径只要明经，进士考试的一半水平，杂文和时务策论做到粗通就可以录取了。所以在唐代，皇亲国戚、达官显宦无不视入学两馆为获取功名的终南捷径。
作为寒士出身的常衮，未及第时就对两馆生徒的作风大为不满。等到他主持全国的科举考试，就锐意革除两馆招生的弊端。为了维护科举考试的尊严，常衮毫不理睬来自权贵们的请托，他甘冒丢官的风险，以朝廷规定为理由，一口回绝了刘忠翼、马磷的请托。为了面子上说得过去，常衮又要刘、马二人的亲戚先参加考试，然后根据成绩再决定是否录取。酒囊饭袋的权贵子弟怎敢真来应试，刘、马二人只好灰溜溜地打消了让子弟走后门入学两馆的主意。
常衮力拒权贵请托之举惊动朝野，赢得人们对他的敬畏，连一些功臣显贵也不由得对他刮目相看。
