陈氏家族是一个被帝王誉为“孝义相从”的世家。宋仁宗在位时，陈氏聚族而居，人口多达37000人。依文彦博、包拯等大臣的建议，1062年七月（嘉祐七年），宋仁宗派人监户“分析”，将陈氏人口疏散。通过抓阄，陈独秀祖上一脉由湘而赣。南宋末年，由赣入皖，迁入怀宁金锭桥渌水乡的十里铺。
1946年年底，陈独秀家族重刻《义门陈氏宗谱》，重刊了“丙辰科进士殿试钦点一甲第一名授翰林院修撰”赵文楷1798年旧历八月写的序。赵文楷是嘉庆元年（1796）的状元，赵朴初的五世祖，他写序说：“陈氏啸峰先生自皖迁自太，去余庐数武遥。幼自相狎，长相友。品学素所推重，延为西席课诸弟侄辈。”陈啸峰由怀宁迁到太湖后，先住太湖北门内，与赵文楷家是邻居，两人从小在一起玩大。赵文楷后来还聘了陈啸峰到他家做私塾先生，课其弟侄。1798年夏，陈啸峰就刻《义门陈氏宗谱》一事写信给赵文楷，请他写序，并寄去有关宗谱的资料。
陈独秀的祖父叫陈章旭，字太占，亦字晓峰（1819~1889），即白胡子爹爹，盐提举衔候选知县；妻劳氏（1824~1870）。陈章旭与劳氏生四子一女：
长子陈衍藩（1840~1861），字霭亭，陕西候补直隶州。妻叶氏（1841~1858）。太平天国安庆保卫战期间，随父参加战斗，在东流被太平军乱枪戳死于稻草堆中，年22岁，葬于东流黄石矶东北编冲山腰，妻葬于朱家梁亭叶家老屋山。
次子陈衍藻，夭折。
三子陈衍中（1848~1881），字象五，陈独秀的父亲。曾国藩克复安庆，他以县学生考取秀才（优廪贡生）。后屡困场屋，纳粟以府经历分发江苏。娶妻查氏（1851~1899），生子女四人。辛巳（1881），苏州城瘟疫大作，他染疾卒于怀宁会馆，年33岁。
四子陈衍庶（陈昔凡）（1851~1913），光绪元年乙亥（1875）恩科举人。陈家习儒业十二世，功名未显，唯陈昔凡中举，给陈家祖宗增了光，《义门陈氏宗谱》怀宁一脉中，只有他的画像上谱。家谱记载：
由附生中光绪元年乙亥恩科举人，考取誊录馆议叙班候选知县。蒙山东巡抚张耀于河工保举知州补缺，后以直隶州用，钦加四品衔，就办盛京文案事件；蒙将军裕禄奏留奉天候补知州，署奉天府军粮同知，调署昌图府怀德县知县；复蒙盛京将军奏保免直隶州补缺，后候升知府，历任辽阳州新民厅、凤凰厅、直厅过班升道，分省补用。因识时知机，致仕归里。
陈昔凡去世后，葬于安庆市郊区十里铺老祖山。元配桐城拳庄方氏（1859~1882），享年23岁，葬于十里铺祖山；续配浙江人谢氏（1862~1939），在江津去世；侧室邵氏（1871~？）。陈昔凡无子嗣，三哥陈衍中去世后，其子庆同（陈独秀）过继为嗣子。
女儿，嫁吴振泰。
白胡子爹爹生了四个儿子，一个夭折，一个青年阵亡，一个不生育，只有老三陈衍中生了两儿两女：
长子陈孟吉（1872~1908），庆元，府学廪贡生，娶补用巡政厅张某长女张氏（1872~1912），生子三：遐年、遐勋、遐永。庆元夫妻葬十里铺老祖山右。
幼子庆同，即陈独秀（1879~1942），邑痒生。娶霍邱人、安庆副将高登科长女高晓岚（1876~1930），生子三：遐延（即陈延年，1898~1927）、遐乔（即陈乔年，1902~1928）、遐松（即陈松年，1910~1990）；生女二：长女玉莹（1900~1928），次女夭折。侧室高君曼（1888~1931），生二子：遐和、次子疡，长女陈子美，嫁张某，次女疡。继配潘兰珍（1908~1949）。
长女（1870~1939），嫁吴向荣，1939年在江津去世。
次女（1871~1920），嫁姜超甫。
