这里以后，全家逃到一个偏僻村落的破庙里，住了一个颇长的时期。这期间，历经了许多艰难和酸辛，吃、喝、穿一切生活需用都无着落。经过了若干转折之后，父亲才投到一家张姓家做佣工。这是父亲正式充当佣工的时期，同时也是他投军的始点。
张家是个地主，家里有两个儿子。老主人渴望他们获得功名，支持门第，因此在父亲未来以前，已经请了一位武术教师在家，给小主人教些石头弓箭刀枪一类的课程。两位少爷却和一般的阔少没有两样，一切纨袴子弟的习气无不应有尽有。穿的绫罗绸缎，吃的离不了鸡鸭鱼肉，早晨老不起床，叫一声，哼哼大半天没有动静。
父亲生性勇武，酷好武艺，看见小主人放着这样好的教师在家，不知努力上进，心里着实惋惜，于是不时在那教师跟前讨教几套，空闲的时候就搬石子，耍弓箭，独自苦学潜修。教师看见父亲穷苦而有志气，功夫也很有根底，心里喜欢，加倍尽心指教。这样练习了一个时期，父亲的技术已经大有可观。
考期到了。父亲奉命担着行李送小主人去应考。不知由于怎样的一个机缘，父亲也得到入场应试的幸运。进了试场，两个阔少连射了三箭，一箭也没有射中，石子不消说也没有举起来。下来了，臊得面红耳赤，结果是名落孙山。平素娇生惯养，一点儿苦功也没有下过，临事自必当场出丑，给爹妈丢脸，这也是不足奇怪的。父亲与试的结果，三箭都射中了，石子也举得合格，居然入学了。这在他自己也是没有料到的。久经折磨的父亲，这时才觉得稍稍吐了一口郁闷之气。
父亲考入了武庠，祖母却因此受过一次很大的窘困，说起来也很有趣味。原来父亲佣工的期间，祖母已返故乡竹柯村。故乡虽然并没有可留恋的地方，然而生活到底比较外乡容易些。外面人地生疏，生活艰难，再三考虑，祖母才离开父亲回乡。为了分在两下，日子更好过一点儿。父亲入学之后，送报子的星夜到竹柯村报喜。在清代科举盛行的时候，有人专门靠着报喜为生，每逢榜张出之后，这般人瞅着榜上的一个名字，看清籍贯，即疾驱的拼命跑向目的地方去。跑得快了，可以得头报，多赚些赏钱；若是慢了，成了二报三报，就不值钱了。任何人家的父兄，接到自己家子弟功名成就的喜讯，谁都乐意掏些赏钱，表示自己的快慰的。但是这次报父亲喜讯的报子，可算是生意不佳了。报子到家的时候，祖母赤着脚，挽着裤腿，正在田里插稻秧，无论如何，也没有想到这时她的儿子会考取功名。送报的查问了半天，才有人把祖母从田里找回来。祖母到了家，院子里已经站满了人，看见她来了，一拥围上来，乱嚷着贺喜。大家都说她从此苦尽甘来，吉利话说了一大堆，弄得祖母大半天茫然不知所措。俗语说，自己的苦只有自己明白。祖母的艰难也只有她自己知道。大家正在恭维贺喜，吉利话讲得起劲的时候，却不想字字都刺激了祖母的神经，使她听了伤心。在一片笑语欢腾声中，祖母忽然呜咽起来了。家里一贫如洗，四壁萧然，每天两餐饭都发生问题，拿什么招待报喜的呢?一样的喜讯，到了穷人家，便变成了无法应付的难题!后来多亏冯文焕的祖母(我的本家嫂子)，察知了祖母的隐衷，赶快地跑到家里，兜了一些鸡子和几斤米过来替祖母发赏给那报子。可是报喜的却大大的不高兴，经邻里多方劝解，才勉强打发他走，算解了祖母的围。
考取武庠，虽然算不了一件什么了不起的大事，可是父亲的生活却因此发生了很大的变化。这变化实含有严重的时代意义，绝不是偶然的。
自从一八四○年鸦片战争爆发，数千年来闭关自守的中国，经不住帝国主义炮舰的轰击，终于被迫着大开门户。于是国际资本主义的洪流一拥而入，中国旧有的经济政治的壁垒开始发生急遽的变化，满清的封建统治也走到了日暮途穷的境地。这一新时代的开始，其征象就是普遍的农村骚乱与新的###的酝酿和发展。一八五○年洪杨革命的爆发，明显地，即是那外来的与内在的经济政治条件之下所产生的一个革命运动。经过这次浪潮的泛滥以及战争的延长与扩大，那些和土地紧紧束缚在一起的农民，至此也不得不离乡背井，流亡外地。太平军在广西起义，不久即连续占领赣、皖、苏、浙等省；满清军队与之转战于长江流域，前后达十一年之久。这一期间，东南各省农民四散流亡，其中有的投入太平军，有的应募而为淮军湘军以及其他满清军队。总之，生活上都发生了很大的变化。所以一次时代的变动，固然影响国家的政治前途，同时也影响到个人的生活以及一切活动。不过这些时代的意义，在当时并不为参与其间的个人所自觉。父亲的由流浪而为佣工，由佣工而取中武庠，开始从军，很明显的正就是这些农民之中的一个例证。他之所以离开农村社会，在他自己看来，或者不外是生活的威胁与企图上进心理的驱使，其中复杂的时代与社会的意义，他不消说是丝毫没有意识到的。