我还有两个哥哥，大哥十五岁死了，二哥许庆云比我大九岁，现在住在无锡。
我的孪生弟弟许翼云后来在台湾大学读化工，留学美国，曾是台湾原子能委员会主任委员，管台湾核能的事情，现在住在马里兰，他本来是马里兰大学的教授。我们小时候很像，后来环境改变了，就不太像了。人的像与不像，不是体形和面貌，是神情。为什么有夫妻脸？因为夫妻生活环境一样，所以夫妻越来越像，不是面貌像，而是神情像。我和翼云声音很像，人家听起来常常以为是一个人。他的文章写得不错，退休以后自己学写旧诗。他完全按照规律做诗，我跟他讲：要讲意境，不要规律。我本来可能是学数学，因为我在中学喜欢数学，但是后来我不能做实验，所以就投靠文学。如果我们易地而处，他会学文，我会学理。
旁观者
1935年，我父亲调到湖北荆沙关，这是一个内关。从三峡口到九江一带，长江支流的水道都由他负责，荆江大堤就是他帮忙修缮的。
我真正有记忆，忽然从小娃娃变成有悲苦之想，就在抗战时期一批川军赶赴前线时。我弟弟在上学，我不能上学，我母亲带了许多女工烧开水给川军喝，我坐在门口的抱鼓石上，望着不见边的军人。他们说：“这些人一个都回不来的。”那时候我七岁左右，有悲苦之想不容易，我想一般人七岁时不会这样想的。因为我一辈子不能动，不能跟人家一起玩，所以永远做一个旁观者，这跟我一辈子做历史研究有相当的关系，历史学家也做旁观者。
抗战是我非常重要的记忆，看见人家流离失所，看见死亡，看见战火，知道什么叫饥饿，什么叫恐惧，这是无法代替的经验。
抗战时，经常要逃离日本人的侵犯，因为我父亲做经济委员会委员，工作就是供应军粮民食，所以不能离前线太远。八年抗战除了最后一年多在重庆安顿以外，都是跑来跑去，因此，我幸运地看到了中国最深入内地的农村，看见最没有被外面触及的原始原貌，不但是山川胜景，还有人民的生活。作为旁观者，我常常被摆在一个土墩上、石磨上，搬个小板凳，看着人家工作，所以我对农作的每个细节都可以细细地看。
所经各处都有许多故事。因为我不能离开父母旁边，所以我父亲有时候会告诉我一些故事。后来在重庆一年多，我的兄弟姐妹都不在家，只有我一个人在家。我父亲在第五战区和李宗仁的关系搞坏了，被调回重庆，赋闲在家。他老人家念书，我在旁边跟着念，有时他也讲一些事情给我听，有时他跟母亲谈话，我也可以听到一些。因此，我一路旅行、逃难所经各处，和后来我看的《三国演义》就连在一起了。那些都是三国战场，荆州本来就是战场，鄂北一带就是新野，我们走的路就是三国时期的路，对我很有帮助。后来我念历史就反刍，比如从荆州往北，就是上千年青石板的官马大道，旁边有亭子，里面有行人可以喝茶的地方，挂有草鞋，行人可以取一双草鞋走，但是当自己有钱的时候，要贡献一些，这是全国通例。茶都是当地老百姓奉的药茶，一个茶桶，一个竹勺，两个土碗，在夏天放了药，又能解暑，又能防疫。官马大道边两排高高的枣树，青石板上千百年来大车轧的痕迹都是清清楚楚，这些当时没有人告诉我，后来回想就明白了。
