太平战后，父亲于同治四年（1865）进学为秀才，时年二十四岁。当年一个人读书上进先要在他祖籍所在通过“县试”，再参加省方所主持的“府试”；府试及格，便进学为“秀才”。既为秀才，则每三年都得应考一次，叫作“岁考”。如果一个秀才希望参加举人考试，他还要通过省级主办的甄别试验，叫作“科考”。科考及格才可参加“省试”（亦称“乡试”）。乡试是朝廷特派的“主考”所主持的（乡试及格，便“中举”成为“举人”了）。
父亲进学之后，参加了几次“省试”都未能如愿。他深深了解他的学业为战火所耽误了，所以他决定到上海去进那些战后重开的“书院”，继续进修。经过慎重考虑之后，乃于1868年春初进了新近复校的“龙门书院”。该院山长（院长）刘熙载先生是当时扬州有名的经师。父亲被录取之后，便在该院读了三年——从1868年到1871年。
在父亲的回忆录里，他记载了当时书院里的生活，特别是一些同学之间的交往与学习的经验。他的同学之中后来有许多都在政治上和学术上有相当成就的。父亲对这位了不起的刘山长的教学方式也有所记载。他说所有在书院中受课的学生，每人每日都得写一份“日程”和一份“日记”。前者记载为学的进度；后者是记学者的心得和疑虑。为这种“日程”和“日记”的记述，该院都有特别印好的格式，按规格来加以记录。这些“日记”和“日程”父亲均保留下来。其中有趣而值得一提的，便是这印刷品的卷端都印有红字的宋儒朱熹和张载等人的语录。其中一份张载的语录便是：“为学要不疑处有疑，才是进步！”这是个完全中国文明传统之内的书院精神。
我所敬重的老朋友吴稚晖先生，生于1865年，比父亲小二十四岁。吴先生也曾经告诉过我一件有关另一“书院”的惊人而有趣的故事。吴先生曾就读于江苏“南菁书院”。当吴氏第一次拜谒该院山长名儒黄以周先生时，他看到黄先生书斋上挂着一大幅使他难忘的格言：“实事求是，莫作调人！”这句格言如译成英语或白话，那就是：“寻找真理，绝不含糊！”这些也都说明了我国19世纪一些高等学府里的治学精神。
父亲的自述里几乎以四分之一的篇幅，记述其重建上庄胡氏宗祠的经过。这项重建历时凡十一年，共费制钱一千三百三十万（约合银元一万三千三百元）。自1865年动工，直至1876年（光绪二年），父亲三十六岁那年才正式完工的。在这项伟大的工程中，他不但是该项工程粗工细活主要的规划者和执行人，他有时还要说服和克制族中守旧分子的反对。他所遗留的记录不幸有一部毁于火灾，但是这份记录却替后世留下了当年聚族而居的农村里的生活状况、社会组织和社会公益活动的极珍贵的第一手资料。
在此期间父亲曾对中国地理——尤其边疆地理发生了研究的兴趣，这兴趣是他在上海龙门书院当学生时便养成的。他继续对地理学进修的原因，也是受当时国际和远东重要变动的影响。据父亲的纪录，他对当时政府和士大夫对世界地理和中国边疆——尤其是东三省——的地理之无知，感到震惊！所以他便下定决心终生致力于中国边疆地理的研究。