天顺初，忠国公石亨汰甚，知为上所疑，门客谢昭效张觷之告蔡京，征先生以收人望。亨谋之李文达，文达为草疏上之。上问文达曰：“与弼何如人？”对曰：“与弼儒者高蹈。古昔明王，莫不好贤下士，皇上聘与弼，即圣朝盛事。”遂遣行人曹隆至崇仁聘之。先生应召将至，上喜甚，问文达曰：“当以何官官与弼？”文达曰：“今东宫讲学，需老成儒者司其辅导，宜莫如与弼。”上可谕德。召对文华殿。上曰：“闻高义久矣，特聘卿来，烦辅东宫。”对曰：“臣少贱多病，杜迹山林，本无高行，徒以声闻过情，误尘荐牍，圣明过听，束帛丘园，臣实内愧。力疾谢命，不能供职。”上曰：“宫僚优闲，不必固辞。”赐文币酒牢，命侍人牛玉送之馆次。上顾文达曰：“人言此老迂，不迂也。”时文达首以宾师礼遇之，公卿大夫士承其声名，坐门求见，而流俗多怪，谤议蜂起。中官见先生操古礼屹屹，则群聚而笑之。或以为言者，文达为之解曰：“凡为此者，所以励风俗，使奔竞干求乞哀之徒观之而有愧也。”先生三辞不得命，称病笃不起。上谕文达曰：“与弼不受官者何故？必欲归，需秋凉而遣之，禄之终身，顾不可乎？”文达传谕，先生辞益坚。上曰：“果尔，亦难留。”乃允之。先生因上十事，上复召对。赐玺书银币，遣行人王惟善送归，命有司月廪之。盖先生知石亨必败，故洁然高蹈。其南还也，人问其故，第曰：“欲保性命而已。”己卯九月，遣门生进谢表。辛巳冬，适楚拜杨文定之墓。壬午春，适闽，问考亭以申愿学之志。己丑十月十七日卒，年七十有九。
先生上无所传，而闻道最早，身体力验，只在走趋语默之间，出作入息，刻刻不忘，久之自成片段，所谓“敬义夹持，诚明两进”者也。一切玄远之言，绝口不道。学者依之，真有途辙可循。临川章衮谓其《日录》为一人之史，皆自言己事，非若他人以己意附成说，以成说附己意，泛言广论者比。顾泾阳言先生一团元气，可追太古之朴。而世之议先生者多端，以为先生之不受职，因敕书以伊、傅之礼聘之，至而授以谕德，失其所望，故不受。夫舜且历试诸艰，而后纳于百揆，则伊、傅亦岂初命为相？即世俗妄人，无如此校量官爵之法，而况于先生乎？陈建之《通纪》拾世俗无根之谤而为此，固不足惜。薛方山亦儒者，《宪章录》乃复仍其谬。又谓与弟讼田，褫冠蓬首，短衣束裾，跪讼府庭。张廷祥有“上告素王，正名讨罪，岂容久窃虚名”之书。刘先生言：“予于本朝，极服康斋先生。其弟不简，私鬻祭田，先生讼之，遂囚服以质，绝无矫饰之意。非名誉心净尽，曷克至此！”然考之杨端洁《传易考》，先生自辞宫谕归，绝不言官，以民服力田。抚守张瑰（番禺人）因先生拒而不见，瑰知京贵有忌先生者（尹直之流），欲坏其节行，令人讼之，久之无应者。瑰以严法令他人代弟讼之，牒入，即遣隶执牒拘之。门人胡居仁等劝以官服往，先生服民服，从拘者至庭。瑰加漫侮，方以礼遣。先生无愠色，亦心谅非弟意，相好如初。瑰以此得内贵心。张廷祥（元祯）始亦信之，后乃释然。此为实录也。又谓跋石亨族谱，自称门下士。顾泾凡（允成）论之曰：“此好事者为之也。先生乐道安贫，旷然自足，真如凤凰翔于千仞之上，下视尘世，曾不足过而览焉。区区总戎一荐，何关重轻？乃遂不胜私门桃李之感，而事之以世俗所事座主举主之礼乎？此以知其不然者一也。且总戎之汰甚矣，行路之人皆知其必败，而况于先生？先生所为坚辞谕德之命，意盖若将浼焉，惟恐其去之不远也，况肯褰裳而赴，自附于匪人之党乎？此以知其不然者二也。”以羲论之，当时石亨势如燎原，其荐先生以炫耀天下者，区区自居一举主之名耳。向若先生不称门下，则大拂其初愿，先生必不能善归。先生所谓“欲保性命”者，其亦有甚不得已者乎？
吴康斋先生语
人须整理心下，使教莹净常惺惺地方好。此“敬以直内”工夫也。嗟夫！不敬则不直，不直便昏昏倒了，万事从此隳，可不惧哉！
食后坐东窗，四体舒泰，神气清朗，读书愈有进益。数日趣同此，必又透一关矣。
圣贤所言，无非存天理、去人欲。圣贤所行亦然。学圣贤者，舍是何以哉！
日夜痛自点检且不暇，岂有工夫点检他人？责人密，自治疏矣，可不戒哉！明德、新民虽无二致，然己德未明，遽欲新民，不惟失本末先后之序，岂能有新民之效乎？徒尔劳攘成私意也。
贫困中事务纷至，兼以病疮，不免时有愤躁。徐整衣冠读书，便觉意思通畅。古人云：“不遇盘根错节，无以别利器。”又云：“若要熟，也须从这里过。”然诚难能，只得小心宁耐做将去。朱子云：“终不成处不去便放下。”旨哉言也！
文公谓延平先生终日无疾言遽色。与弼常叹何修而至此！又自分虽终身不能学也。
文公又云：“李先生初间也是豪迈底人，后来也是琢磨之功。”观此，则李先生岂是生来便如此，盖学力所致也。然下愚末学，苦不能克去血气之刚，平居则慕心平气和，与物皆春，少不如意，躁急之态形焉。因思延平先生所与处者岂皆圣贤，而能无疾言遽色者，岂非成汤“与人不求备，检身若不及”之功效欤？而今而后，吾知圣贤之必可学，而学之必可至，人性之本善而气质之可化也的然矣。下学之功，此去何如哉！
夜病卧，思家务，不免有所计虑，心绪便乱，气即不清。徐思可以力致者，德而已，此外非所知也。吾何求哉，求厚吾德耳。心于是乎定，气于是乎清。明日书以自勉。
南轩读《孟子》甚乐，湛然虚明，平旦之气略无所挠，绿阴清昼，薰风徐来，而山林阒寂，天地自阔，日月自长。邵子所谓“心静方能知白日，眼明始会识青天”，于斯可验。
与弼气质偏于刚忿，永乐庚寅，年二十，从洗马杨先生学，方始觉之。春季归自先生官舍，纡道访故人李原道于秦淮客馆，相与携手淮畔，共谈日新。与弼深以刚忿为言，始欲下克之之功。原道寻以告吾父母，二亲为之大喜。原道，吉安庐陵人，吾母姨夫中允公从子也。厥后克之之功虽时有之，其如卤莽灭裂何！十五六年之间，猖狂自恣，良心一发，愤恨无所容身。去冬今春，用功甚力，而日用之间觉得愈加辛苦，疑下愚终不可以希圣贤之万一，而小人之归无由可免矣。五六月来，觉气象渐好，于是益加苦功，遂日有进，心气稍稍和平。虽时当逆境，不免少动于中，寻即排遣，而终无大害也。二十日，又一逆事排遣不下，心愈不悦。盖平日但制而不行，未有拔去病根之意。反覆观之，而后知吾近日之病，在于欲得心气和平而恶夫外物之逆以害吾中，此非也。心本太虚，七情不可有所（于）【干】。物之相接，甘辛咸苦，万有不齐，而吾恶其逆我者，可乎？但当于万有不齐之中详审其理以应之，则善矣。于是中心洒然。此殆克己复礼之一端乎！盖制而不行者硬苦，以理处之则顺畅。因思心气和平，非绝于往日，但未如此八九日之无间断。又往日间和平多无事之时，今乃能于逆境摆脱。惧学之不继也，故特书于册，冀日新又新，读书穷理，从事于敬恕之间，渐进于克己复礼之地。此吾志也，效之迟速，非所敢知。
澹如秋水贫中味，和似春风静后功。
力除闲气，固守清贫。
病体衰惫，家务相缠，不得专心致志于圣经贤传，中心益以鄙诈，而无以致其知；外貌益以暴慢，而何以力于行！岁月如流，岂胜痛悼。如何！如何！