僧虔寻加散骑常侍，转右仆射。升明元年，迁尚书仆射，寻转中书令，左仆射。二年，为尚书令。僧虔好文史，解音律，以朝廷礼乐多违正典，民间竞造新声杂曲，时太祖辅政，僧虔上表曰：“夫悬钟之器，以雅为用；凯容之礼，八佾为仪。今总章羽佾，音服舛异。又歌钟一肆，克谐女乐，以歌为务，非雅器也。大明中，即以宫悬合和《鞞》、《拂》，节数虽会，虑乖《雅》体，将来知音，或讥圣世。若谓钟舞已谐，重违成宪，更立歌钟，不参旧例。四县所奏，谨依《雅》条，即义沿理，如或可附。又今之《清商》，实由铜爵，三祖风流，遗音盈耳，京洛相高，江左弥贵。谅以金石干羽，事绝私室，桑濮郑卫，训隔绅冕，中庸和雅，莫复于斯。而情变听移，稍复销落，十数年间，亡者将半。自顷家竞新哇，人尚谣俗，务在噍杀，不顾音纪，流宕无崖，未知所极，排斥正曲，崇长烦淫。士有等差，无故不可去乐，礼有攸序，长幼不可共闻。故喧丑之制，日盛于廛里；风味之响，独尽于衣冠。宜命有司，务勤功课，缉理遗逸，迭相开晓，所经漏忘，悉加补缀。曲全者禄厚，艺妙者位优。利以动之，则人思刻厉。反本还源，庶可跂踵。”事见纳。
建元元年，转侍中，抚军将军，丹阳尹。二年，进号左卫将军，固让不拜。改授左光禄大夫，侍中、尹如故。郡县狱相承有上汤杀囚，僧虔上疏言之曰：“汤本以救疾，而实行冤暴，或以肆忿。若罪必入重，自有正刑；若去恶宜疾，则应先启。岂有死生大命，而潜制下邑。愚谓治下囚病，必先刺郡，求职司与医对共诊验；远县，家人省视，然后处理。可使死者不恨，生者无怨。”上纳其言。
僧虔留意雅乐，升明中所奏，虽微有厘改，尚多遗失。是时上始欲通使，僧虔与兄子俭书曰：“古语云‘中国失礼，问之四夷’。计乐亦如。苻坚败后，东晋始备金石乐，故知不可全诬也。北国或有遗乐，诚未可便以补中夏之阙，且得知其存亡，亦一理也。但《鼓吹》旧有二十一曲，今所能者十一而已，意谓北使会有散役，得今乐署一人粗别同异者，充此使限。虽复延州难追，其得知所知，亦当不同。若谓有此理者，可得申吾意上闻否？试为思之。”事竟不行。
太祖善书，及即位，笃好不已。与僧虔赌书毕，谓僧虔曰：“谁为第一？”僧虔曰：“臣书第一，陛下亦第一。”上笑曰：“卿可谓善自为谋矣。”示僧虔古迹十一帙，就求能书人名。僧虔得民间所有帙中所无者——吴大皇帝、景帝、归命侯书，桓玄书，及王丞相导、领军洽、中书令珉、张芝、索靖、卫伯儒、张翼十二卷奏之。又上羊欣所撰《能书人名》一卷。
其年冬，迁持节、都督湘州诸军事、征南将军、湘州刺史，侍中如故。清简无所欲，不营财产，百姓安之。世祖即位，僧虔以风疾欲陈解，会迁侍中、左光禄大夫、开府仪同三司。僧虔少时群从宗族并会，客有相之者云：“僧虔年位最高，仕当至公，余人莫及也。”及授，僧虔谓兄子俭曰：“汝任重于朝，行当有八命之礼，我若复此授，则一门有二台司，实可畏惧。”乃固辞不拜，上优而许之。改授侍中、特进、左光禄大夫。客问僧虔固让之意，僧虔曰：“君子所忧无德，不忧无宠。吾衣食周身，荣位已过，所惭庸薄无以报国，岂容更受高爵，方贻官谤邪！”兄子俭为朝宰，起长梁斋，制度小过，僧虔视之不悦，竟不入户，俭即毁之。
永明三年，薨。僧虔颇解星文，夜坐见豫章分野当有事故，时僧虔子慈为豫章内史，虑其有公事。少时，僧虔薨，慈弃郡奔赴。僧虔时年六十。追赠司空，侍中如故。谥简穆。
其论书曰：“宋文帝书，自云可比王子敬，时议者云‘天然胜羊欣，功夫少于欣’。王平南廙，右军叔，过江之前以为最。亡曾祖领军书，右军云‘弟书遂不减吾’。变古制，今唯右军、领军；不尔，至今犹法钟、张。亡从祖中书令书，子敬云‘弟书如骑骡，骎骎恒欲度骅骝前’。庾征西翼书，少时与右军齐名，右军后进，庾犹不分，在荆州与都下人书云‘小儿辈贱家鸡，皆学逸少书，须吾下，当比之’。张翼，王右军自书表，晋穆帝令翼写题后答，右军当时不别，久后方悟，云‘小人几欲乱真’。张芝、索靖、韦诞、钟会、二卫并得名前代，无以辨其优劣，唯见其笔力惊异耳。张澄当时亦呼有意。郗愔章草亚于右军。郗嘉宾草亚于二王，紧媚过其父。桓玄自谓右军之流，论者以比孔琳之。谢安亦入能书录，亦自重，为子敬书嵇康诗。羊欣书见重一时，亲受子敬，行书尤善，正乃不称名。孔琳之书天然放纵，极有笔力，规矩恐在羊欣后。丘道护与羊欣俱面受子敬，故当在欣后。范晔与萧思话同师羊欣，后小叛，既失故步，为复小有意耳。萧思话书，羊欣之影，风流趣好，殆当不减，笔力恨弱。谢综书，其舅云紧生起，是得赏也，恨少媚好。谢灵运乃不伦，遇其合时，亦得入流。贺道力书亚丘道护。庾昕学右军，亦欲乱真矣。”又着《书赋》传于世。
第九子寂，字子玄，性迅动，好文章，读《范滂传》，未常不叹挹。王融败后，宾客多归之。建武初，欲献《中兴颂》，兄志谓之曰：“汝膏梁年少，何患不达？不镇之以静，将恐贻讥。”寂乃止。初为秘书郎，卒，年二十一。
僧虔宋世尝有书诫子曰：
知汝恨吾不许汝学，欲自悔厉，或以阖棺自欺，或更择美业，且得有慨，亦慰穷生。但亟闻斯唱，未睹其实。请从先师听言观行，冀此不复虚身。吾未信汝，非徒然也。往年有意于史，取《三国志》聚置床头，百日许，复从业就玄，自当小差于史，犹未近仿佛。曼倩有云：“谈何容易。”见诸玄，志为之逸，肠为之抽，专一书，转诵数十家注，自少至老，手不释卷，尚未敢轻言。汝开《老子》卷头五尺许，未知辅嗣何所道，平叔何所说，马、郑何所异，《指例》何所明，而便盛于麈尾，自呼谈士，此最险事。设令袁令命汝言《易》，谢中书挑汝言《庄》，张吴兴叩汝言《老》，端可复言未尝看邪？谈故如射，前人得破，后人应解，不解即输赌矣。且论注百氏，荆州《八帙》，又《才性四本》、《声无哀乐》，皆言家口实，如客至之有设也。汝皆未经拂耳瞥目，岂有庖厨不修，而欲延大宾者哉？就如张衡思侔造化，郭象言类悬河，不自劳苦，何由至此？汝曾未窥其题目，未辨其指归——六十四卦，未知何名；《庄子》众篇，何者内外；《八帙》所载，凡有几家；《四本》之称，以何为长——而终日欺人，人亦不受汝欺也。由吾不学，无以为训。然重华无严父，放勋无令子，亦各由己耳。汝辈窃议亦当云：“阿越不学，在天地间可嬉戏，何忽自课谪？幸及盛时逐岁暮，何必有所减？”汝见其一耳，不全尔也。设令吾学如马、郑，亦必甚胜；复倍不如今，亦必大减。致之有由，从身上来也。汝今壮年，自勤数倍许胜，劣及吾耳。世中比例举眼是，汝足知此，不复具言。