代宗大历十二年三月，一个月明风清的春夜。月光流泻在官道两旁槐树上，槐叶的清香若有若无地飘撒在夜空中。宵禁后，各条路口，宫禁内外，百官衙门前都站满手持武器的神策军士兵，而且，在路上巡弋的士兵也比平日增加了许多倍。低沉的吆喝声，武器碰撞声，在静夜里格外刺耳。紧张的气氛刺激了长安市民，他们惶恐不安，难以入眠。人们躲在屋里，窃窃私语，猜测今晚将要发生的事情。
此时，常衮府第中分外寂静，只有书房里亮着的一盏孤灯映照出常衮踱来踱去的身影。忽然，前厅传来急促的敲门声，这声音打破了常府的寂静，也使沉思中的常衮惊愕无比。出了一身冷汗才弄清来者是奉皇帝旨意，特地召唤常衮去政事堂处理紧急公务的。
半道上，宣旨太监附在常衮耳朵边小声说道：“元相公、王相公栽了！”元相公、王相公就是现任宰相元载和王缙。“原来如此。”常衮恍然大悟，连日来代宗皇帝时时流露出对元载、王缙的不满，现在，果然下手了。咳，为相也不易呀！但想想元、王二人踌躇满志之态，贪污狼藉之迹，招得天怨人怒，看来不下台也不行了。沉思间，常衮一行已来到宰相办事公衙——政事堂。
国舅、左金吾将军吴凑早就伫立在门口迎候。等常衮与吏部尚书刘晏、御吏大夫李涵、散骑常侍萧昕都到齐了，吴凑从衣袖里抽出一封李豫皇帝亲笔书写的密诏朗读起来。听完诏书，大家才知道，今晚的行动都是李豫在延英殿亲自指挥的。宰相元载、王缙已被拿下，关押在间壁的侧房里，等待皇帝钦点的几位亲信大臣来审讯处置。
对元、王二人的审讯十分顺利，基调是宫中早已定好的。要问的事由，都写在皇帝传来的诏书上，大家不过是照本审讯而已。元载、王缙对所犯罪过并不抵赖，并表示认罪服法。本来两人都被内定了死罪，但由于刘晏力争，王缙改为免死贬官。接下来数日，大家都忙着处理元、王余党和抄没元、王的家产。从两人家中抄出的财物价值百万，仅胡椒一物，元载家中竟抄出八百多石。
常衮等人足足忙了个把月，才将元、王一案基本办完。四月的一天，就在常衮打算回家稍事休息时，宣旨太监手捧白麻纸写就的诏书，笑吟吟地唤常衮接旨。见了白麻纸写的诏书，常衮一阵惊喜，心中便有预感，果然不出所料，诏书上写明，任命太常卿杨绾为中书侍郎、礼部侍郎常衮为门下侍郎，并平章事（即任宰相）。
这个任命传开后，在朝廷引起很大的反响。听说“弘通多可”的杨绾和“颇务苛细，不妄交游”以清俭自律的常衮同时拜相的消息时，大元帅郭子仪正在宴请宾客，闻讯立即将正在为客人佐酒助兴的乐队人数减少五分之四；京兆尹黎干平时外出总要带上一大帮随从，常、杨拜相的那天，他就自行减裁为十余骑；中丞崔宽，府第建造得宏大侈丽，闻讯也立即撤除了事。
杨绾、常衮两人性格不一，处事方法也多有差异，皇帝同时拜两人为相，是有意让他们取长补短，平衡处理朝政。但体弱多病的杨绾，任相不到半年就溘然长逝，剩下常衮一人独掌政事堂。
常衮三载为相，政绩如何？比他生活时代晚了近三十年的刘肃在《大唐新语》里，曾给予了极高的评价：“时常衮当国，竭节奉公，天下翕然，有升平之望。”考常衮的实际政绩，这并非溢美之辞。
元载当政时，朝廷上下贿赂公行，朋党横行，而公道梗涩，卖官、买官之风盛行天下。有钱就可以买到高官，阮囊羞涩的读书人纵然才华超人，进士及第，也难得一官半职。元载和王缙都是贪婪无比的人，除了自己卖官赚钱，还怂恿家人公开纳赂。元妻王氏，元子伯和、仲武；王缙的弟弟、妹妹以及出入其门的女尼，都公开收受贿赂为人请托。
常衮入相伊始，便决心彻底杜绝卖官之风。他给各衙门下了一道严令：今后凡是任命择官，必须经过甄别。对于无才无学之徒，花钱再多也不授予官职；若有司甄别不严，一经察觉，与买官者同罪。常衮任用的官员都是科举出身中的佼佼者，非文辞登科者决不任用。而且明白告知属下。由此可见，常衮的用人方针是比较偏激的，但这也是针对元载卖官鬻职而作的对策，是一剂矫枉过正的重药。常衮此举一出，便引起轩然大波。断绝生财之道的官员骂他，有钱买不到官的不肖文人骂他，才学满腹而不是科举出身的人也骂他。当时，京师流着这样一条谚语：“元好钱，常分别，贤者愚，愚者贤。”意思说：元载爱钱，没钱的人被当成傻子丢在一边；常衮重在分别出身，有了科举出身，呆子也好做官，虽然反对者很多，常衮依然我行我素。常衮为相三年，提拔任用的官员很少，选拔人才过严。尽管如此，他还是选拔了一些有才有德之士。如屡受鱼朝恩、元载打击，被贬官湖州的颜真卿，就是由常衮等人的极力保荐，而被重新起用为刑部尚书的。
常衮以清俭自律，反对贪污浪费、大吃大喝。元载、王缙当宰相时，皇帝命御厨每天为他准备一份出自御膳房的客饭。这份客饭不仅味美可口，而且数量很大，足可供十多人食用。也就是说，宰相一家的饭菜都由御厨包了。皇帝此举，无非想借此显示对宰相的恩宠。常衮一当上宰相，便联合他人上奏皇帝李豫，请求罢御赐客饭。常衮说：“身为宰相，所得俸禄已多，不宜再受御馔。”皇帝同意罢除客饭后，常衮又打算辞免堂封。所谓堂封，就是朝廷赐给宰相的封邑钱，当时每年有三千六百缣之多。常衮此举，因受到同时为相的朱泄等人的反对，迫于压力，他只好放弃辞堂封的打算。
常衮这两件清俭之举，有人叫好，也有人大加讥讽。讥讽者说：“朝廷厚禄，本为养贤，若无才德，固当辞职，无须辞禄也。”对此，司马光在《资治通鉴》里说了几句颇有见地的公道话：“君子以吃饭不干事为耻，常衮辞堂封，正表明他心目中还有廉耻之分，与那些一味只知贪恋官位、俸禄的人相比，常衮岂不更好吗！诗云：‘彼君子兮，不素餐兮，’像常衮这样的人，是不该妄加讥讽的。”
常衮在任时，还做过一件“堵后门”之事。唐代政事堂北面有个后门，正对着中书舍人院的后门，当初，开此门的目的，是为了方便宰相到中书舍人院咨政问事。鉴于元载为相时，朝廷朋党之风盛行，官员上下相互勾结，各部门之间交往过滥，常衮一做宰相，就命人将这扇后门堵上。常衮此举实际意义并不大，但也反映出他为人“苛细”的性格特点。
唐人大都看好京官，而不愿去外地任职，当初，元载为了“鼓励”官员到外地做官，从而巩固自己在朝廷的地位，别出心裁地制定了一套官俸制度：他将中下层京官俸禄压得很低，而把外官俸禄定得很高。京官薪水微薄，加上“长安米贵，居大不易”，许多人生活无着，拮据不堪。为了维持家庭生计，有些京官就靠向外官乞贷度日。久而久之，京官都牢骚满腹。元载被杀后，作为新宰相，常衮立即会同杨绾上书皇上，请给京官加俸。李豫对京官薪水偏少的抱怨也早有所闻，所以，常、杨奏章一上，即获批准。常衮此举自然深受京官们的欢迎。但在具体实施加俸方案时，常衮也有偏激固执、随意增减的情况。如常衮讨厌太子少詹事，便大笔一挥，将他的官俸减为二十五千。太子文学的俸禄只有太子洗马的一半，但常衮有一个亲戚任太子文学，常衮便将太子文学的官俸定为十二千，而太子洗马却只有十千官俸。这两件事暴露了常衮“率情任性”的毛病，人们对他便有了几分微词。
京官的俸禄问题解决后，常衮又着手解决地方滥设冗员、编制失控、人员超编的问题。
在平定安史之乱的过程中，朝廷为勉励各地官员效力，特对地方官实行一系列优惠政策。凡是朝廷认为担负着较为重要的军事任务和粮赋供给任务的地区，那里的官员就发给较多的月俸。元载、王缙又乘机徇私舞弊，对与之亲近的刺史则给月俸千缗，对与之疏远的刺史则给月俸数十缗，厚此薄彼十分惊人。此外，各地日益增多的冗员也是个突出的问题。当时，各路节度使大都不听朝廷节制，无不自行其是，滥设了许多官员，致使官员人数空前膨胀，每年要耗费一笔巨额钱财。这对财政日趋紧张的唐王朝来说，无疑是个十分严峻的问题。
常衮下决心解决这一问题。他首先从撤销各州的团练、防御使开始，改由各州刺史及下属官员兼任。然后又对各地武装力量下达严格的编制定员命令。按照朝廷的命令，各州兵员分为两类：其一叫“官健”，这种兵由官府招募，发给口粮和四季衣服；其二叫“团结”，由当地老百姓组成，春夏农忙时节，让“团结”返家从事农耕收割的农事活动，秋冬农闲时节再召来，从事军事训练和出兵征战等活动，“团结”集训、征战期间由官府发给一定的口粮和酱菜等物。在罢减冗员的基础上，常衮又征得皇上李豫的同意，将官俸作了简化规定，上至节度使，下至主簿、县尉，同一官职则发给同样的俸禄。
常衮所主持的几项改革，使困扰唐王朝多年的冗员问题及财政危机有所缓解，对加强唐王朝的国力、维护国家统一都具有十分重要的意义。因此，《大唐新语》赞叹道：“（常）衮独出群议，为戢兵之渐，持衡数岁，时用小康焉。”
