正因为我乡山区粮食产量不足，我们徽州人一般都靠在城市里经商的家人，按时接济。接济的项目并不限于金钱，有时也兼及食物。例如咸猪油（腊油），有时也从老远的地方被送回家乡。其他如布匹、棉纱，等等，在城市里购买都远比乡间便宜，所以也常被送返家中。
所以离乡撇井，四出经商，对我们徽州人来说，实是经济上的必需。家人父子夫妇数年不见也是常事。同时家人的日用衣食以至于造房屋、置田产，也都靠远在外乡的父兄子弟汇款接济。
不过在经济的因素之外，我乡人这种离家外出、历尽艰苦、冒险经商的传统，也有其文化上的意义。由于长住大城市，我们徽州人在文化上和教育上，每能得一个时代的风气之先。徽州人的子弟由于能在大城市内受教育，而城市里的学校总比山地的学校要好得多，在教育文化上说，他们的眼界就广阔得多了。因此在中古以后，有些徽州学者——如12世纪的朱熹和他以后的，尤其是十八九世纪的学者像江永、戴震、俞正燮、凌廷堪，等等——他们之所以能在中国学术界占据较高的位置，都不是偶然的。
现在再谈谈我们绩溪县。绩溪县是徽州府六县之中最北的一县，也可能是人口最少的一县。在经商一行中，我们绩溪人也是比较落后的。绩溪县人多半做本地生意，很少离乡远去大城市。他们先由杂货零售商做起，然后渐渐地由近及远。所以一般说来，我们徽州人实在都是很落后的。
我家在一百五十年前，原来是一家小茶商。祖先中的一支，曾在上海附近一个叫作川沙的小镇经营一家小茶叶店。根据家中记录，这小店的本钱原来只有银洋一百元（约合制钱十万文）。这样的本钱实在是太小了。可是先祖和他的长兄通力合作，不但发展了本店，同时为防止别人在本埠竞争，他们居然在川沙镇上，又开了一家支店。
后来他们又从川沙本店拨款，在上海华界（城区）又开了另一个支店。在太平天国之乱时，上海城区为匪徒所掳掠和焚毁，川沙镇亦部分受劫。先父对这场灾难，以及先祖和家人在受难期间，和以后如何挣扎，并以最有限的基金复振上海和川沙两地店铺的故事，都有详尽的记录。这实在是一场很艰苦的奋斗。
据1880年（清光绪六年）的估计，两家茶叶店的总值大致合当时制钱二百九十八万文（约合银元三千元）。这两个铺子的收入便是我们一家四房、老幼二十余口衣食的来源。
在这里我也顺便更正一项过去的错误记载。前北京大学校长蔡元培先生为拙著《中国哲学史大纲》第一卷所写的序言中，曾误把我家说成是世居绩溪城内胡氏的同宗。蔡先生指出“绩溪县胡氏”是有家学渊源的，尤其是十八九世纪之间清乾嘉之际，学者如胡培翚（1782—1849）及其先人们，都是知名的学者。这个在十八九世纪时便以汉学闻名的书香望族，其远祖可直溯至11世纪《苕溪渔隐丛话》的作者胡仔。那位抵抗倭寇的名将胡宗宪，也是他们一家。但是这个世居绩溪城内的胡家，与我家并非同宗。
我家世代乡居。故宅在绩溪县城北约五十华里。历代都是靠小本经营为生的。我家第一个有志为学的是我的一位伯祖胡星五。他是个乡绅兼塾师。在乡里颇有名望，但是科场却不甚得意。
我们的村落（上庄）正与华南其他地区的村落一样，是习于聚族而居的。洪杨起事之前，我们聚居的胡氏一族总人口在六千上下——当然也包括散居各地经商的族人在内——大半务农为生。但是大多数家庭也都有父兄子弟在外埠经商的——尤其是在南京、上海一带。