在郡一周，称疾去职。灵运父祖并葬始宁县，并有故宅及墅；遂移籍会稽，修劳旧业，傍山带江，尽幽居之美；与隐士王弘之、孔淳之等放荡为娱。名章迥句，处处间起；每一诗出，莫不竞写，宿昔间士庶皆遍。
作《山居赋》并自注以言其事。然灵运名冠宋代，而文章不称，彩之雕润，气无岸异。《山居赋》有意为卓荦，而平直少姿致。
诗则气无奇类，殊未俊发。后人好以陶、谢并称。然陶情喻渊深，自然倜傥。
谢体裁绮密，动见拘束。谢之视陶，亦何啻跛鳖之于骥足。
而《诗品》称：“其源出于陈思，杂有景阳之体，故尚巧似，而逸荡过之，颇以繁富为累。”然陈思骨气雄高，而灵运颇平钝；景阳风流调达，而灵运乖秀逸；辞繁不杀，累则有之；而风骨不飞，何逸荡之有焉。惟《岁暮》一篇，寂寥短章，而吐言天拔；其辞曰：
殷忧不能寐，苦此夜难颓。
明月照积雪，朔风劲且哀。运往无淹物，年逝觉已催。
浩气直落，于灵运为别调；其它丽辞碌碌，殊乏抑扬爽朗之致也。
然山水闲适，时发理趣，在诗家亦为独辟之境；如《石壁精舍还湖中作》曰：
昏旦变气候，山水含清晖。清晖能娱人，游子詹忘归。山谷日尚早，入舟阳已微。
林壑敛暝色，云霞收夕霏。芰荷迭映蔚，薄稗相因依。披拂趋南径，愉悦偃东扉。
虑淡物自轻，意惬理无违。寄言摄生客，试用此道推。
陶、谢诗不以理语为累，以其浑化得理趣，而不落滞境也。
晋孙绰、许询、桓温、庾亮诸公诗皆平典似道德论。此由乏理趣耳，夫岂尚理之过哉。所不同者，特陶公心处闲逸，而灵运辞出刻缕；陶公寓意于田园，灵运寄兴于山水。
文帝即位，起灵运为秘书监，寻迁侍中，赏遇甚厚。灵运自以名辈应参时政，至是唯以文义见接；意既不平，称疾不朝，屡被劾，赐假东归，寻免官。灵运既东，与族弟惠连、东海何长瑜、颍川荀雍、太山羊璇之以文章赏会，共为山泽之游，时称四友。
惠连十岁能属文，灵运加赏之云：“每有篇章，对惠连辄得佳语。”尝于永嘉西堂思诗，竟日不就；忽梦见惠连，即得“池塘生春草”，大以为工，每云：
“此语有神功，非吾语也！”灵运后徙广州，有言其谋叛，奏收之，于广州弃市。

谢惠连为《雪赋》，侔色揣称，不为先汉扬马之雄矫，亦异东京班张之典丽，特以警秀见奇。其辞曰：
岁将暮，时既昏。寒风积，愁云繁。
梁王不悦，游於菟园；乃置旨酒，命宾友：召邹生，延枚叟；相如末至，居客之右。俄而微霰零，密雪下。王乃歌《北风》于卫诗，咏南山于周《雅》，授简于司马大夫曰：“抽子秘思，骋子妍辞，侔色揣称，为寡人赋之。”

相如于是避席而起，逡巡而揖曰：“臣闻雪宫建于东国，雪山峙于西域。岐昌发咏于来思，姬满申歌于黄竹。《曹风》以麻衣比色，楚谣以幽兰俪曲。
盈尺，则呈瑞于丰年；袤丈，则表。”