在郡一周，称疾去职，从弟晦、曜、弘微等并与书止之，不从。灵运父祖并葬始宁县，并有故宅及墅，遂移籍会稽，修营旧业。傍山带江，尽幽居之美。与隐士王弘之、孔淳之等放荡为娱，有终焉之志。每有一首诗至都下，贵贱莫不竞写，宿昔间士庶皆遍，名动都下。作山居赋，并自注以言其事。
文帝诛徐羡之等，征为秘书监，再召不起。使光禄大夫范泰与书敦奖，乃出。使整秘阁书遗阙，又令撰晋书，粗立条流，书竟不就。寻迁侍中，赏遇甚厚。灵运诗书皆兼独绝，每文竟，手自写之，文帝称为二宝。既自以名辈，应参时政，至是唯以文义见接，每侍上宴，谈赏而已。王昙首、王华、殷景仁等名位素不踰之，并见任遇，意既不平，多称疾不朝直。穿池植援，种竹树果，驱课公役，无复期度。出郭游行，或一百六七十里，经旬不归。既无表闻，又不请急。上不欲伤大臣，讽旨令自解。灵运表陈疾，赐假东归。将行，上书劝伐河北。而游娱宴集，以夜续昼。复为御史中丞傅隆奏免官，是岁，元嘉五年也。
灵运既东，与族弟惠连、东海何长瑜、潁川荀雍、泰山羊璿之以文章赏会，共为山泽之游，时人谓之四友。惠连幼有奇才，不为父方明所知。灵运去永嘉还始甯，时方明为会稽，灵运造方明，遇惠连，大相知赏。灵运性无所推，唯重惠连，与为刎颈交。时何长瑜教惠连读书，亦在郡内，灵运又以为绝伦。谓方明曰：“阿连才悟如此，而尊作常儿遇之；长瑜当今仲宣，而饴以下客之食。尊既不能礼贤，宜以长瑜还灵运。”载之而去。荀雍字道雍，官至员外散骑郎。璿之字曜璠，为临川内史，被司空竟陵王诞所遇，诞败坐诛。长瑜才亚惠连，雍、璿之不及也。临川王义庆招集文士，长瑜自国侍郎至平西记室参军。尝于江陵寄书与宗人何勖，以韵语序义庆州府僚佐云：“陆展染白发，欲以媚侧室，青青不解久，星星行复出。”如此者五六句。而轻薄少年遂演之，凡人士并为题目，皆加剧言苦句，其文流行。义庆大怒，白文帝，除广州所统曾城令。及义庆薨，朝士并诣第叙哀，何勖谓袁淑曰：“长瑜便可还也。”淑曰：“国新丧宗英，未宜以流人为念。”庐陵王绍镇寻阳，以长瑜为南中郎行参军，掌书记之任。行至板桥，遇暴风溺死。
灵运因祖父之资，生业甚厚，奴僮既F，义故门生数百，凿山浚湖，功役无已。寻山陟岭，必造幽峻，岩嶂数十重，莫不备尽。登蹑常着木屐，上山则去其前齿，下山去其后齿。尝自始甯南山伐木开径，直至临海，从者数百。临海太守王琇惊骇，谓为山贼，末知灵运乃安。又要琇更进，琇不肯。灵运赠琇诗曰：“邦君难地嶮，旅客易山行。”在会稽亦多从F，惊动县邑。太守孟顗事佛精恳，而为灵运所轻，尝谓顗曰：“得道应须慧业，丈人生天当在灵运前，成佛必在灵运后。”顗深恨此言。又与王弘之诸人出千秋亭饮酒，裸身大呼，顗深不堪，遣信相闻。灵运大怒曰：“身自大呼，何关痴人事。”
会稽东郭有回踵湖，灵运求决以为田，文帝令州郡履行。此湖去郭近，水物所出，百姓惜之，顗坚执不与。灵运既不得回踵，又求始宁休崲湖为田，顗又固执。灵运谓顗非存利人，政虑决湖多害生命，言论伤之。与顗遂隙。因灵运横恣，表其异志，发兵自防，露板上言。灵运驰诣阙上表，自陈本末。文帝知其见诬，不罪也。不欲复使东归，以为临川内史。
在郡游放，不异永嘉，为有司所纠。司徒遣使随州从事郑望生收灵运。灵运兴兵叛逸，遂有逆志。为诗曰：“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子。”追讨禽之，送廷尉，廷尉论正斩刑。上爱其才，欲免官而已。彭城王义康坚执，谓不宜恕。诏以“谢玄勋参微管，宜宥及后嗣，降死徙广州”。
后秦郡府将宋齐受使至涂口，行达桃墟村，见有七人下路聚语，疑非常人，还告郡县，遣兵随齐掩讨禽之。其一人姓赵名钦，云“同村薛道双先与灵运共事，道双因同村成国报钦云：‘灵运犯事徙广州，给钱令买弓箭刀楯等物，使道双要合乡里健儿于三江口篡之。若得志如意后，功劳是同。遂合部党要谢不得，及还饥馑，缘路为劫。’”有司奏收之，文帝诏于广州弃市。临死作诗曰：“龚胜无馀生，李业有终尽，嵇公理既迫，霍生命亦殒。”所称龚胜、李业，犹前诗子房、鲁连之意也。时元嘉十年，年四十九。所着文章传于世。
孟顗字彦重，平昌安丘人，卫将军昶弟也。昶、顗并美风姿，时人谓之双珠。昶贵盛，顗不就辟。昶死后，顗历侍中、仆射、太子詹事、散骑常侍、左光禄大夫。尝就徐羡之因叙关、洛中事，顗叹刘穆之终后便无继者，王弘亦在，甚不平，曰：“昔魏朝酷重张合，谓不可一日无之。及合死，何关兴废？”顗不悦，F宾笑而释之。后卒于会稽太守。
灵运子凤，坐灵运徙岭南，早卒。
凤子超宗。随父凤岭南，元嘉末得还。与慧休道人来往。好学有文辞，盛得名誉。选补新安王子鸾国常侍。王母殷淑仪卒，超宗作诔奏之，帝大嗟赏，谓谢庄曰：“超宗殊有凤毛，灵运复出。”时右卫将军刘道隆在御坐，出候超宗曰：“闻君有异物，可见乎？”超宗曰：“悬磬之室，复有异物邪。”道隆武人无识，正触其父名，曰：“旦侍宴，至尊说君有凤毛。”超宗徒跣还内。道隆谓检觅凤毛，至闇待不得，乃去。