王僧虔，是琅邪临沂人。他的祖父王珣，在晋朝官至司徒。伯父王弘，在晋朝官至太保，在宋朝元嘉年间为宰相。王弘的门客问及他的家讳，王弘回答说：“我的家讳与苏子高（峻）相同。”王僧虔的父亲王昙首，官至右光禄大夫。王昙首兄弟把他们的子孙召集在一起，王弘的儿子王僧达在地上蹦跳游戏，当时王僧虔才几岁，一个人端坐用蜡油捏凤凰。王弘说：“这孩子将来会成忠厚的长者。”
王僧虔二十岁左右时，为人宽厚，擅长楷书。宋文帝看到他写的扇面，赞叹说：“不仅书法超过了王献之，方正的器量也超过了他。”他被任为秘书郎、太子舍人。王僧虔性格谦逊，少言寡语，很少和人交往，与袁淑、谢庄是好朋友。后来转任义阳王文学、太子洗马，又迁为司徒左西属。
他的哥哥王僧绰，被刘劭所杀害，亲朋都劝王僧虔逃命。他泪流满面地说：“我的哥哥用忠贞来敬奉国家，用慈爱抚育我现在的事情，如果（我）不被牵连就算了。倘若一同命归黄泉，就象飞天成仙一样。”孝武帝初年，外任他为武陵郡太守。他的侄子王俭，在随他赴任的中途生病，王僧虔为此不吃不睡照顾侄儿，同行的门客劝慰他，他说：“过去马援对待儿子和侄子一点也没有分别，邓攸看待侄儿胜过亲生儿。我就是这样想的，和古人没有什么两样。他是我亡兄的后代，不应忽视。如果这孩子救不活的话，我就掉转舟头回朝辞职，再也不会有做官的兴致了。”后来回京任中书郎，转任黄门郎、太子中庶子。
宋孝武帝刘骏企图专享书法名家的声誉，因此王僧虔不敢显露出自己的书法水平。在大明年问，他常用秃笔写字，因此才能存身。外任他为豫章王刘子尚的抚军长史，又升为散骑常侍，又任他为新安王刘子鸾的北中郎长史、南东海郡太守，行使南徐州刺史的职权，这两位亲王都是孝武帝的爱子。
不久任他为豫章内史。又入朝为侍中，升御史中丞，兼骁骑将军。贵族人士向来都不任监察官，王氏家族的分支在平民区居住的，才任这官位较低的职务，王增虔担任这种职务，他说：“这是在平民区居住的那些人的官位，我也可以试着干干。”后来又任他为侍中，兼屯骑校尉。泰始年间，外任为辅国将军、吴兴郡太守，官品与二千石相当。王献之善长书法，曾任吴兴郡太守，王僧虔也擅长书法，也任为吴兴郡太守，被人们传为美谈。
他后来又改任会稽郡太守，官品与二千石相当，仍为辅国将军。中书舍人阮钿夫老家在会稽，请假东归。王僧虔的门客劝他通过阮钿夫结好朝廷，对阮细夫要以礼接待。王僧虔说：“我立身处世有自己的准则，哪能曲意奉承这种人。他如果讨厌我，我就甩袖而去。”阮锢夫把这话告诉给宋明帝，并指使御史中丞孙复弹劾他，说道：“王僧虔任吴兴太守时，胡作非为，检点他从到任到迁官，共任用功曹、五官、主簿。以至二礼吏署三传，以及收弟子，计四百四十八人。他又批准百姓何系先等一百一十家为士族。应派州郡官员去检查。”王僧虔因此被免官。不久，以平民的身份兼任侍中，外任为监吴郡太守，又升为使持节、都督湘州诸军事、建武将军、行使湘州刺史职权，又为辅国将军、湘州刺史。他在各种职位上，都以行政宽和利民著称。巴峡的流民很多人住在湘州境内，王僧虔上奏朝廷，分割出益阳、罗、湘西三县沿江流民另立湘阴县，他的建议得到批准。元徽年间，升任他为吏部尚书。高平人檀珪原为沅南县令，后被罢职，王僧虔任他为征北板行参军。檀圭向王僧虔诉说求官不得的委屈，他给王增虔写信说：“国家的创建，文韬武略最为重要，文能治理天下，武能拔乱定国。我家族的人虽没有以文治而身居显要，但曾身为显赫的武将。我的堂姑有三位和皇家结亲，我的祖父、兄长两代人，为国捐躯，但是他们的子侄落得饿死草野的下场。去冬今春，连遭二次斥责，因我在朝中无人说话，于是屡遭贬降。在四、五个月的时间内，我给你写了十二封信，你接见我却只有六、七次，不但没有得到你的照顾，反而更受冷遇。三教九流的人你都能公平对待，不应该单独苦了我一人，害得我饥肠辘辘，为时已久。因饥饿的老虎能咬人，人马上投给他肉食；饿坏了的麒麟不会咬人，谁肯给他一口食呢？去年冬天我请求任豫章丞，这个职务被马超夺走了；今年春天任命我为南昌县令，又被史偃夺走了。这两个人他们父祖的功劳和他们本人的才能，哪一点比我强？如果是由于贫富不同的原因，我当然不如他们。我虽然位微势孤，但我的家庭是百年的士族，前辈的联姻之家和父祖的地位，也不在别人之下。尚书您的堂姊是江夏王妃，我的堂姑是南醮王妃；尚书您的妻子是江夏王之女，我的祖姑是长沙景王的嫔妃；尚书您的伯父曾做江州刺史，我的祖父也曾是江州刺史；尚书您的堂兄初仕为后军参军，我的父亲初仕也为中军参军。我和尚书您相比，人才和地位相差悬殊，但是在前辈联姻和官位方面，却相差不多。现在虽然你位居显官，我地位卑下，相差甚远，但同属官宦世家，尚书您为什么这样苦苦相逼？泰始初年之时，八方反叛，我檀家一门两代人，为了保卫君主，粉身碎骨，对国家有这样大的功勋，却得不到提拔，我只不过按常规任官，却又遭到排挤贬降。”王僧虔回信说：“征北板行参军这一职务，近年来处境很不错，殷主簿就从这一职务步入高官之列，何仪曹接代殷主簿，也没听到他诉苦。足下你一向官位较低，一旦想越级提拔，确有困难。泰始初年你辛辛苦苦干了十年，却怎么没有看到你受过苦苦逼迫呢？只不过我对你的看法和你不同罢了。”檀珪又回信说：“过去荀公达是汉朝的功臣，晋武帝还给他的玄孙以爵位。夏侯悖是曹魏的功臣．刘宋初年，也受到重视，他的孙子得到赏赐，近族子孙得到封爵。羊叔子因在晋朝泰始年间提议伐吴．，到咸宁末年，也加以褒奖，他的侄儿也得到封爵。卞望之因咸和初年为国献身，到兴宁末年，才受到尊崇，他的子孙都委任为官。蜀郡主簿田混，黄初末年死于旧主之难，咸康年间才提拔他的子孙。以上这些事例，似乎不因年代久远他们的子孙被遗弃，不因时代不同而被排挤。我檀珪遭遇的种种厄运，世间少有，五代人没有安葬，百口之家流离失所，在这生死存亡的关头，本来只希望得到微薄的薪俸，无心获取更高的荣耀。自古以来就有只享受俸禄而无职事的沐食侯，近世又有所谓王官。府佐并非沭食侯的职务，参军也不是王官的职称。我自知自己不是葫芦，以空悬为耻。殷、何二位，或者是出于上官的情面，或者是朝廷的旨意，哪能和我这个平常的人同日而语。假使我就任此职，尚书您是否能转升为我郎官？如果我能得到每天五升米的俸禄，就是给您牵马坠蹬我也不感到羞耻。”王僧虔才任他为安城郡丞。檀珪，是宋朝安南将军檀韶的孙子。
王僧虔不久又加散骑常侍衔，又转为左仆射。升明元年，升尚书仆射，不久又转为中书令、左仆射，二年又为尚书令。王僧虔爱好文史，对乐律也有研究。他鉴于朝廷上现行的礼乐制度大都违背了传统规定，民间又竞相制作新调杂曲，当时太祖萧道成为辅政大臣，王僧虔上书说：“悬锤之类的乐器，应用于高雅场合；奏凯的舞蹈，以八队为准。现在乐官跳的羽舞，乐曲和服饰都违背礼数。再者，一套编钟，为歌伎伴奏，以歌唱为主，这也不是雅乐。大明年间，用宫中的编钟演奏《鞞》、《拂》乐曲，节拍虽然相合，恐怕也有违于雅乐，将来有懂音乐的人发现这种情况，恐怕会对我们这个时代的礼乐提出批评。如果说现在的乐器和舞蹈已经形成一个整体，很难改变，那么可以另造编钟。不按原来的形制。宫中的四面悬钟，仍严格按照雅乐的规定演奏，这样既保护了雅乐的体统，又考虑到实际情况，这样或许是可行的。再者，现在的《清商》乐曲，实际是从曹魏时流传下来的，它是曹操、曹丕、曹睿时代的流风余韵，这种乐曲仍随处可以听到，京洛人士视此为高雅，江左地区更是以此为高贵。确实作到了庙堂雅乐，绝迹于私家宴会、象桑间、濮上，郑卫之声等庸俗的歌乐，遭到上层人士的摒弃，雅俗各得其宜，也没有比这种局面再好的了。但是随着社会风气的变化，人们的欣赏习惯随之变化，这些《清商》乐曲，日渐衰落，十几年的时间，乐曲失传了将近一半。从此，家家竞相创制新曲，人们祟尚通俗音乐，一味追求急促的旋律，不顾及音乐的本身的规律，这种风气元节制地发展流传开去，不知要发展到何种地步。这种社会风气，排斥雅乐正音，崇尚淫乱的歌曲。士人有等级，无故不能撤去音乐，礼仪有分别，有的乐曲不可老少都去欣赏。因此，那些喧嚣叫号的歌曲，日盛一日地在民间发展；雅乐正音，只在士大夫阶层流传。应该下令有关方面，务必要下工夫，整理失传的雅乐、逐渐推广，乐曲有遗忘的地方，全部补配齐全。如果能整理出完整的乐曲，要给予高薪，演奏水平高的，任以高官。这样用物质利益去激励，那么人人会去下苦功。这样正本清源，拔乱反正，或指日可待。”它的意见被采纳实行。
