胡兰成祖先并非嵊县本地人。
胡家可追溯的祖先胡家太公，明朝末年间贩牛路过此地，不慎失火将附近田里的成熟禾稻全部烧光，无奈只得以牛作赔。本钱既无，无处可去，这位胡家太公就留下来租田地种，不料来年风调雨顺，作物大获丰收，由这先祸后福的转折，他就立意在此安家落户，由此成了嵊县下北乡胡氏家族的开创者。经过三百年的繁衍生息，到胡兰成出生时，胡村[5]已是个有一百五十户人家的大村庄。
胡村人都姓胡，胡家太公是一百五十户人家的共同祖先，胡家非土生土长本地人，在胡村地界上都存着遗迹。胡村依山傍水，人家四散开分住于几处，分别叫做倪家山、陆家奥、荷花塘、大桥头，前两处显然是以前倪姓、陆姓人家的居处，只是胡氏宗族兴旺后才移居于其他地方的。
胡家为外乡人无疑，可外乡究竟在何处？至胡兰成父亲这一辈已茫无所知，胡村人只能往上胡乱攀附：“胡姓上代有胡瑗是经师，故堂名用五峰堂，猛将明朝有胡大海，但我不喜他的名字。我喜欢宋朝胡铨，金人以千金购求他弹劾秦桧的奏疏，现在祠堂里有一块匾额‘奏议千金’，即是说的他。此外我爱古乐府羽林郎里的胡姬，但是胡姬不姓胡。”[6]虽是荒唐，却是传统，只不过历史上，胡村人再也找不到其他更显赫的胡姓人物了。
胡村人真正的发达兴旺，是在胡兰成祖父这一辈，洪秀全太平军起事前后。其时，西方洋人刚开始与中国通商，沿海一带的上海、宁波成为内外交通的大商埠，胡村人的兴旺与中外贸易直接相关，当年西洋和日本需要的丝绸、茶叶和可做油漆、油墨、医药原料的桐油，胡村都有出产，胡村人得地利之便也开风气之先，迅速将营生融入进了对外贸易的渠道。那时候，胡村家家种茶养蚕，许多人家自设油车打桐油，出产经过商家商号的收集转手，输出外洋。整个胡村白墙黑瓦，院落齐整，就是那时植下的根基。
胡兰成祖父胡载元，当年称得上村中大户，家里开茶机，雇众多员工加工茶叶，每日账房先生和老师傅的工钱、伙食钱要用到上千文，其时猪肉价只不过一斤二十文。胡村大石桥一丈二尺宽、五丈长，也是胡载元当年带头捐款建造的。
可惜好年景只维持了十余年，随着丝茶桐油的外销受阻，胡村人主要收入来源减少，逐渐衰败了下来。到胡兰成出生时，胡村有二三十亩地的小地主只剩了两三家，自己有地五六亩、租种七八亩再兼做点生意的也不过两三家，这就算得上殷实之户了，其余人家都是田亩不足、饭米不够的贫苦人家，须靠做短工、贩私盐等才得以维生。逢到节庆和家中婚丧事，多有借债典当的事发生。胡兰成家也不例外，衰败了下来，到胡兰成父亲手里更是破落不堪，胡兰成幼小时，逢过年常见家中来人讨债。胡村几十年即从兴旺发达走到衰败破落，自己家中“富不过三代”，从日用千文到过年被人逼债的经历，在胡兰成心中留下了深刻的印痕，他在青年时期研究马克思主义，最主要动机之一，就是要解开胡村由盛至衰的社会原因。
胡村衰败的社会原因或许难明，胡家衰败的家庭原因却是易解，因为明明白白就在眼前，是胡兰成的父亲胡秀铭。
我祖父去世，父亲十八岁当家，家业当即因茶栈倒账赔光，此后一直只靠春夏收购山头茶叶，转卖与他家茶栈，得益可得二百银元，来维持一家。但他不像是个生意人。有时他还爱到地里去种作，亦人家一看就知道他不是务农人。他笔下着实文理清顺，但他从没有想到自己或是读书人。他亦为人管事讲事，而不像个乡绅，他击鼓领袖群众，弹三弦吹横笛裂足开胸，但与大户人家败落子弟的品丝弄竹完全两派。广西民歌：“读书不像读书人，好游不像好游人，衫袖恁长裤脚短，你有那条高过人。”[7]
