晚年寻求大义及经学源流正变，得失所在而论赞之，外及九流诸子、两汉以后学术，为《东塾读书记》二十一卷。其教人不自立说，尝取顾炎武论学之语而申之，谓博于文当先习一艺。《韩诗外传》曰：“好一则博。多好则杂也，非博也。”读经史子集，皆学也，而当以经为主，尤当以行已有耻为主。为学海堂学长数十年，至老，主讲菊坡精舍；与诸生论文艺，勉以独行立品，成就甚众。胡元玉父子、于式枚等，皆其徒也。
亡友黄季刚君以声韵之学为当世所重，其为学得力之处，实自东塾之《切韵考》始，尝为《切韵考解释》上篇。书成后，以下篇属吾门弟子李以社补成之，季刚之笃好其学说者深矣。
岭南诗画大家
黎二樵，名简，字简民，又字未栽。爱东西一樵山水，尝往来其间，遂号二樵。广东顺德人。十岁能诗，益都李文藻见二樵诗，劝令就试。学使李调元得其拟昌黎石鼓联句，奇赏之，取入县学第一。乾隆五十四年，选拔贡生。二樵幼颖悟，喜缪篆摹印，每取器范铜为印，辄工。父禁之，则独游蛮洞，观峰峦起伏，便能泼黑作山水。年十五，归岭南，始肆力学问，贫未知名。偶为广州富人构园林，叠石为假山，见者叹赏，知其将来必以画名也。
二樵作艺颇多，然高自期许，求书画者，日侍于门，意稍不合，虽馈以巨金，必挥之去，缘是有狂名，因自识曰“狂简”。常寓慈度僧舍，种竹满阶，名“竹平安馆”。又以体羸多病，澹于进取。所居村曰百花村，人多以花为业，种花者得有佳种，辄来换画，二樵一挥而就，常得妙品。二樵每作画毕，辄狂呼曰：“五百年后，必有识者。”故谢里甫题其山水册云：“妙手人推老郑虔，关心犹虑世无传，于今碎锦争收拾，何必遥遥五百年。”
谭宗浚希古堂文集画赋：“简民落笔遒透，刻意新警，既备幽思，亦穷要领，白云满山，空僧入定，四无人声，但闻清磬，”其境界如此。
李莼客云：“二樵以绘事名，诗中皆画境也。”诗中有画，画中有诗，惟二樵当之无愧。尝筑亭曰众香，阁曰药烟。妻梁，亦多病，而亦能诗，遂相与吟咏于其中。着有五百四峰草堂诗文集传世。
嘉兴钱ぅ石给谏赠二樵诗云：“黎简生盛世，独抱古忧患。”王昶、奚冈、黄景仁皆与唱酬；翁学士方纲寄二樵诗，有“寄语二樵圆夙梦，苏门学士待君来。”其生平未逾岭南一步，海内人士，想望风采。惟袁随园枚以其弟香树为广州守来游，闻二樵名，往访，二樵不纳。而语人曰：“随园一大嫖客耳，与语勿乃污我口舌。随园闻而恨之。故《随园诗话》中，无及二樵者。
然粤中人士愈高二樵，至以其书画之有无，为主人雅俗之别。二樵晚有鸦片烟癖，自言“吾非卖画无以为生，非吸烟不能提神作画。”盖当时人士，以吸鸦片为耻，虽以二樵之负盛名，犹托于病以自解也。二十年前尝见烟斗一枚，绝精美，四面隶书为铭，铭曰：“无酒学佛，有酒学仙，非佛非仙，与彼有缘。是谓黑甜隐者，其然岂其然。樵夫作于药烟之室。”“樵夫”亦为二樵别号，盖其所手制也。英国诗人枯列渠
Coulege非吸鸦片不能为诗，一生穷困潦倒，其东西诗人有同嗜欤？
按：二樵之诗，大抵由山谷入杜，而取炼于大谢，取劲于昌黎，取幽于长吉，取艳于玉溪，取僻于阆仙，取瘦于东野，锤凿锻炼，自成一家。其画神韵古逸，生气盎然。一种华疏澹远者，仿倪高士、柯敬仲也。一种淋漓苍润者，由梅道人上溯而追北苑巨然也。张南山谈艺录推二樵之画，为粤画正宗。允矣。
叶玉甫祖兰台先生，手写李长吉诗集，用五色本套。黎二樵圈点批评，推许倍至。而于长吉诗句中“弹琴看文君，秋风吹鬓影”二句，加三层套圈。评曰：“予之长吉先生，真是千古神笔。”可知二樵得力于长吉诗不浅。