当时美国南方共产党是“地下党”，只有一个人是公开的，他是南卡北卡两个州的书记，是公开合法的，但他自己并不参加活动，只在背后指挥。这是个品质非常高尚的老电工，因为从事共产党活动在阿拉巴马州坐了几年牢，在牢里得了肺病，身体不好，穷得叮当响，家里总吃野菜。纽约共产党总部给他津贴，指挥他。我们知道他是书记，他知道谁是党员，他有我们的名单，我们都直接跟他联络。我们对他特别尊敬。美共的组织是很松散的，后来我去各地搞工人运动，如果当地只有我一个党员，那就一切自作主张，但我们在一起的时候有小组，在固定的地方，比如在大学，就有小组。小组上面就是书记。后来我们有个党委，我还做过党委的教育书记，管南卡北卡两个州。所谓党委，也比较空，我负责宣传教育，另外一个人负责工会活动，联系黑人。党员的人数，两个州加起来恐怕不到一百人。不过连查尔斯顿都有秘密党员，我妈要是知道谁是共产党员，准会吓一跳。从我们家出来，把口的地方有个食品店，是一个希腊人开的，店主的儿子就是秘密党员。有一些贵族也是秘密党员。书记有党员名单，我下去收党费，书记告诉我谁是党员。南卡北卡的党员，对个人品德要求很高，男女关系不能随便。这都是书记要求的。有些地方，譬如纽约，就比较随便。我到纽约开会，或者去募捐，发现那儿的党员跟我们根本不一样。纽约的党员中有许多艺术家，他们喝酒，个人生活随便，我们都看不惯。相互之间怎么联络呢？打电话不行，写信也不好，容易暴露，联系的话，我们得找书记，或者他找我们。他有个破车，到处跑，找我们，好像也没有管不过来的情况。我也会去纽约找一些大富翁筹钱，有些大富翁同情共产党。1940年春天，我到纽约参加了共产党的全国代表大会，然后我们几个南方人一起到一个农场去参加党的培训班，培训了几个月，主要是学苏联的、斯大林的东西，我们都崇拜斯大林。我们了解的马克思主义就是斯大林宗教。我们也学联共（布）党史，跟后来在中国学的一模一样。很奇怪，当时好像所有的坏蛋都是托派。在北卡德姆市（Durham）有一个我管的小组，有一次我们到一个黑人木匠的家里开会，他不在家，我们一直等到晚上八点多钟，他才回来。怎么回事呢？原来在有轨电车上，他跟人吵起来了，他告诉我们：“有个托派王八蛋踩了我一脚。”在他的脑子里，托派就是坏蛋，坏蛋就是托派，因为他在党内就是这么学的。他不会骂别的。老木匠是非常好的老党员。
后来我到延安，跟陆定一说起我们美国地下党的情况，他哈哈大笑，说你们那算什么地下党。确实，跟中共地下党处境凶险、组织严密比起来，我们确实算不得地下党。回想起来，我们那些人里头有没有联邦调查局的特务呢？很难想象没有，但也想不出是谁。个别人我们当时就有怀疑，我们怀疑的是那些经常在工人面前吹嘘自己如何了不起，如何自我牺牲的人。有个基督教牧师，也是党员，经常在党的会议上讲有人收买他，但他不出卖党。老讲，别人就说，你最大的贡献就是把自己出卖了，然后把钱交给党。他体会不到，能够参加就是幸运。
但从我母亲的角度看，这一定是一种牺牲。我下面会讲到，从事劳工运动也确实有各种危险。我的父亲比较能够理解。他跟我说了两个观点：第一，你信奉社会主义我赞成，资本主义制度太坏，不过我家庭的利益已经跟资本主义紧扣在一起了，我本人没有办法。第二，我觉得谁也还没有创造出比资本主义更好的制度来。他不认为苏联有什么好。但是，我没钱最穷的时候，他偷偷给我钱，五十块钱，一百块钱，表示支持。他说，你选择的道路，我只能支持你。我妈妈反对得很厉害。对我参加共产党这件事，我估计我妈一定猜到了几分，但不确定。刚开始参加工人运动时，跟妈妈发生过一次争论，妈妈说：就算你的革命是对的，为什么要牺牲我的儿子？我说：妈，你根本不知道，不存在牺牲我的问题，他们容许我参加，我感到非常高兴。这个道理跟我妈说不清，但确实是这样的，一般工人对大学生没有什么兴趣，他们能够接受我，我觉得很幸运。我很注意不说那些大词，不让他们觉得我是大学生，自以为了不起。
我的那些党员同志都是扎扎实实的，一心做好党的工作。你问我他们的追求是什么？是不是想把美国建成像苏联那样的国家？恐怕那样想的人不多。我自己反正没有这么想，真正在美国搞革命是很遥远的事。我自己就是坚决争取黑白平权，男女平等，劳工权益，学术自由，都是这些事。
