来俊臣是京兆府万年县人。父亲来操是赌徒，与同乡蔡本要好。蔡本欠来操赌债数十万钱无法偿还，来操于是就娶了蔡本的妻子，她到来家以前先已怀孕，等生下俊臣后就冒用了来操的姓。
来俊臣天性残忍，性情反复无常。他曾客居和州干违法犯禁的勾当，被逮捕入狱，在狱中向朝廷密告谋反叛乱事件。经和州刺史东平王李续审查讯问没有事实根据，李续于是打了来俊臣一百杖。
武后天授年间（690年—692年），来俊臣上书受到武后的召见。他在武后面前自称从前向朝廷密告琅邪王李冲谋反的实情受到了李续的压制。
武后认为他的话可信，经多次提拔让他当了侍御史，负责审问奉诏令投入监狱里的囚犯，多次审讯都符合武后的旨意。武后故意放任来俊臣，以威力压制群臣。他前后杀灭了一千多家。有生以来与他有细微仇恨的人，也都被他杀害。
来俊臣被提拔为左台御史中丞，朝廷内外官吏都吓得噤若寒蝉，以至于在路上相遇时都不敢交谈，只能用眼睛示意。来俊臣于是带领侯思止、王弘义、郭弘霸、李仁敬、卫遂忠等人，暗中招集为非作歹之徒百人，指使他们用流言蜚语诬蔑公卿大夫，向朝廷上密告有关谋反叛乱紧急情况的文书。
每揭发一件事，总是在千里范围内几处同时告发，一查验几处说法都一样，当时人称为“罗织”，又都在告密文书的左边写道：“请交给来俊臣或者侯思止追问，一定能得到实情。”武后相信他们的话，下诏在丽景门另外设置监狱，命令来俊臣等人专门审查谋反事件，一百人中也没有一个人能得到宽赦。王弘义戏称丽景门为“例竟门”，意思是说进入这门的人照例都得死。
来俊臣同他的部属朱南山、万国俊编写《罗织经》一篇，教自己的门徒如何罗织罪名，文中陈述主脉支脉、大纲由来，全有头有尾，门徒可依此行事。来俊臣审问囚犯，不问轻罪重罪都用醋灌鼻，挖地为牢关押囚犯，或者让囚犯睡在满是屎尿的地方，或者不给囚犯饭吃，囚犯甚至啃衣服里的棉絮充饥，大致不死终究无法出狱。每次武后发布赦令，来俊臣必定先杀掉重罪囚犯然后才传达赦令。来俊臣又制造大枷，各有名称：一叫“定百脉”，二叫“喘不得”，三叫“突地吼”，四叫“着即臣”，五叫“失魂胆”，六叫“实同反”，七叫“反是实”，八叫“死猪愁”，九叫“求即死”，十叫“求破家”。后又在枷上加一个用铁做的盖头，披上枷戴上铁盖头的人直在地上打滚，一会儿便被闷死了。凡囚犯到监狱，都先在他面前陈列各种刑具，囚犯见了无不震惊恐惧，即使无罪也自动认罪。
武后如意初年，来俊臣诬告朝廷大臣狄仁杰、任令晖、李游道、袁智弘、崔神基、卢献等人，将他们关进监狱。来俊臣专门把杀戮大臣当成立功，于是奏请武后为囚犯而下诏，规定凡一问罪就服罪的人同自首一样，依法可减罪免死。狄仁杰等人已被判处死刑，等待日子执行刑罚，来俊巨等人对他们的看管略微放松一些，狄仁杰于是派自己的儿子拿着自己写在丝织物上的书信到武后那里诉说冤枉。武后见信后很惊讶，责问来俊臣，来俊臣回答说：“没有剥夺这个囚犯的官帽官服，如果不是确实有罪，为什么肯服罪？”
武后派通事舍人周琳到监狱里看狄仁杰，来俊臣马上借给狄仁杰帽子腰带，命他穿戴好站立于西厢。周琳畏惧来俊臣，只往东看了看便唯唯诺诺地退下，不敢深察。在这以前，宰相乐思晦被来俊臣杀灭全家，有个九岁的儿子被没入官府为奴，隶属于司农寺，他向朝廷说有非常情况要报告，得到了武后的召见。他对武后说道：“来俊臣凶恶狠毒，欺君罔上，大逆不道，如果陛下虚假地逐条列出某人的谋反罪状交给来俊臣审理，事无大小全会以假成真按照陛下列出的罪状结案。臣父死家灭，不求活命，只可惜陛下的法律被来俊臣玩弄！”
武后幡然醒悟，因此狄仁杰等六家都得以免死。来俊臣又审问大将军张虔勖、内侍范云仙，张虔勖受不住冤枉，向大理寺徐有功告状，来俊臣让卫士用刀乱砍张虔勖，范云仙自述曾侍奉先帝，来俊臣下令割掉他的舌头，两人都当即死亡，人人吓得不敢喘气。
过了很久，来俊臣接受商人的金银，被御史纪履忠弹劾，关进监狱，罪该处死。武后认为他向朝廷密告谋反叛乱事很忠诚，没有处死他，只是将他免职为民。武后长寿年间，来俊臣被召回朝廷，授殿中丞职务，又因犯贪污罪被贬为同州参军事。来俊臣在同州暴虐放肆，不受拘束，夺人妻子，辱人母亲，目无国法，为所欲为。不久又被提拔为洛阳县令，升任司仆少卿，武后赐给他司农寺的官奴婢十人。来俊臣认为司农寺的官奴婢没有长得漂亮的，听说西突厥酋长阿史那斛瑟罗家有个婢女擅长歌舞，便让自己的党羽诬告阿史那斛瑟罗谋反，以求得到他家的婢女。各族酋长数十人，到皇宫门前用刀割耳划脸替阿史那斛瑟罗诉冤，阿史那斛瑟罗才得以免罪。来俊臣又诬告司刑史樊戬谋反，樊戬以谋反罪被杀，他的儿子到皇宫诉冤，有关官吏无人敢受理，于是自己剖腹而死。秋官侍郎刘如璇为此而流泪，来俊臣上奏说刘如璇偏袒、同情坏人，刘如璇申诉说自己是因年老而流泪，官吏判处刘如璇绞刑，武后赦免他的死罪，将他流放到汉州。
来俊臣知道群臣不敢指责自己，于是有了反叛的图谋，常常把自己比成石勒，准备诬告皇嗣（即后来的唐睿宗）和庐陵王（后来的唐中宗），与南衙各卫及北衙禁军一起图谋造反，希望因此得以展露自己的心志。卫遂忠揭发了来俊臣的阴谋。起初，来俊臣多次指摘武氏诸王、武后的女儿太平公主、张昌宗等人的过错，武后不采取行动。武氏诸王怨恨来俊臣，一起证实他的罪恶。武后下令在西市将来俊臣处斩，当时他四十七岁，人们都相互庆贺，说道：“现在能够背挨着床睡觉了！”他死后，大家争着挖他的眼睛、摘他的肝、将他的肉剁成肉酱，一会儿工夫肉都被割尽，大家又用马踩他的骨头，最后什么也没剩下。他的家属被收入官府为奴。
来俊臣当权的时候，嘱托吏部选授了二百多名官员，等到来俊臣败亡，吏部的官员都向朝廷自首。武后责备他们，他们回答说：“我们违犯了陛下的法令，自身被杀；如果违背了来俊臣的意思，就得全家覆灭。”武后赦免了他们的罪。
当时有名叫来子珣、周兴的，都是万年县人。武后永昌初年，来子珣上书，被提拔为左台监察御史。来子珣没什么学问，言语粗野拙劣，武后依靠他来审查狱案，他曲意阿从武后的旨意，所以武后赐他姓武，字家臣。他诬告雅州刺史刘行实兄弟图谋造反，刘行实兄弟被处死，接着来子珣又挖平了他们祖先的坟墓，因此得以升任游击将军。来子珣常穿短袖锦衣，以求标新立异。后来被流放到爱州，死在那里。
周兴，年轻时熟悉法律，后经多次升迁当上了秋官侍郎，屡次奉命判决奉诏令特设的监狱里的囚犯，援用法律条文严峻苛刻，乱杀了数千人。
武后夺取政权后，任命周兴为尚书左丞，周兴上书请求废除宗正寺中的李唐皇族名册。当时左史江融有好名声，周兴指责江融与徐敬业一起谋划反叛，将他在闹市上处斩。江融临刑时，请求得到武后的召见，周兴不允许。江融大声呵斥周兴说：“我死无罪状，不会放过你。”将江融斩首后，据说江融的尸体猛然立起来行走，执行死刑的人将它踢倒，三次倒下又三次立起。
武后天授年间，有人告发周兴等人图谋造反，武后下诏让来俊臣查问实情。起初，周兴不知道自己被人告发，正和来俊臣一起吃饭，来俊臣说：“囚犯多不服罪，怎么办？”周兴说：“这容易对付，把囚犯装进大瓮里，四周用木炭烧烤，什么事不会承认！”来俊臣说：“好办法。”命人拿来大瓮并烧上火，慢慢对周兴说：“天子下令审问你，请你入瓮尝尝味道。”周兴吓得直出冷汗，跪下叩头服罪。后来武则天宽免了周兴的死罪，将他流放到岭南。周兴在赴岭南的路上，被仇人杀死。
