在黄启汉还没有返回南京之前，1月27日，李宗仁即致电毛泽东，言称：“贵方所提八项条件，政府方面已承认可以此作为基础，进行和谈，各项问题均可以谈判中商讨决定。”随后，李宗仁为试探中共对谋和的反应，策动京沪一带的教育界领袖和社会贤达名流，组成“南京人民和平代表团”（由南京人民和平促进会组成），成员有邱致中、吴裕后、曾资生、邓季雨、宋国枢、夏元芝、吴哲生、苗迪青、刘达逵、黄诺等。
2月6日至11日，该代表团以私人资格来到北平。所谓“南京人民和平代表团”不过是被蒋介石查封的“中国人民和平策进会”的成员，知名度并不高。中共北平市委的接待人员将代表团送到六国饭店。晚上还设宴款待，叶剑英主持了宴会。代表们对此深感满意。
第二天，根据中共安排，代表团成员在饭店里写各自的意见。8日，双方整日进行分别谈话。邱致中等在书面意见中强调：李宗仁求和心切，中共可利用李蒋矛盾，则兵不血刃即可获得十省左右之土地及非蒋系的军队。待联合政府成立，明令讨伐蒋系军队及其占据之三五省，必定所向披靡。
但是，代表团成员明显对共产党及其革命到底的决心缺乏了解。吴裕后等在谈话中提出：若和谈不成，国民党内开明分子愿以长江为界实行分治，贵党用武力击败国民党，则国家仅有之建设基础势必全部被毁，加重贵党建国之困难。而代表团提出的所谓“和平谈判纲领”甚至主张：政治协商会议应由国共两党及中间党派、民意机关、人民团体和社会领袖六方各出六人组成；联合政府亦应由上述六方共同组成，主席应由社会领袖担任，副主席由国共各派一人担任。
综合8日代表团成员的谈话及书面意见，彭真与叶剑英两人9日致电中共中央报告说，代表们的基本要求是：第一，主张利用蒋李矛盾；第二，另立新政府，不如通过和谈接收旧政府，便利控制全国和得到国际承认；第三，和谈成功，至少西到宜昌，东到上海，都可解放，蒋介石只剩下台、赣、闽、粤四省，容易解决；第四，和谈策略应注意轻重缓急。我们只表示了善意的欢迎，均未表态。
对此，中共中央复电强调：“代表们……是真正代表美国和桂系的意见，在这些方面你们不要表示态度。但你们可向与桂系有关的代表暗示，只要桂系今后站在有利于人民解放事业及能达成真正持久和平之目的，我们是不会拒绝他们的。”叶剑英通过电话向代表团转达了中共中央的这一态度。
11日“南京人民和平代表团”返回南京。14日，李宗仁再次派出“上海人民和平代表团”接踵而至。
关于“上海人民和平代表团”的组成，国民党政府及李宗仁在人员选择上颇费心机。1949年1月31日，李宗仁偕邵力子到上海，对上海贤达一一拜访，希望他们能以私人资格去北平，作为政府与中共之间的协调人。
经过缜密筛选，几位在上海滩声望高、在国民政府中资历深的人士走进李宗仁的视野。颜惠庆，曾任北洋政府外务部次长，巴黎和会中国代表团顾问，国务总理兼外交总长，国务总理并摄行大总统职权等职。李宗仁决定让他出任代表团团长。
章士钊，清代秀才，湖南长沙人，是一位有声望的教育界人士。
江庸，名贯申城的大律师。辛亥革命后，曾任南北议和随员，京师高等审判厅厅长，北京政府司法部次长，司法部总长，修订法律馆总裁，北京政法大学校长等职务。1948年7月任司法部大法官。
银行家陈光甫，拥有中国第一大私人商业银行，创造了中国金融史上的无数个“第一”，在20世纪前半叶的中国有着举足轻重的影响，被誉为“中国最优秀的银行家”。中国共产党试图与陈光甫建立联系，希望能通过与之交谈把握经济方面的建设思路。李宗仁得知这个消息后就将陈列入代表团人选。
1月24日，李宗仁派代表刘仲华带他的亲笔信到上海面见陈光甫，刘仲华刚到上海，就被紧急召回南京，所以信由章士钊转交。29日是传统的春节，30日，李宗仁再次派亲信甘介侯带他的亲笔信到上海，动员陈光甫。31日，李宗仁亲自到上海，在中国银行召见了颜惠庆、章士钊、江庸、陈光甫等20多位各界社会名流，说此计划中的代表团是“和平攻势”的一部分，目的是向国际社会证明他对于和平的诚意与渴望，从而赢得同情和支持，这个使团可以称“敲门使团”。陈光甫没有同意，他在日记中对此有详细记载：
我试图拒绝。我的理由是，我是银行家，一个资本主义制度的代表；在政府和共产党人处于战争状态的时候，我曾两次被作为工具去华盛顿为政府寻求财政援助；我通常被认为是亲美分子。当代总统自南京飞沪，作短暂的然而是戏剧性的访问时，我提出了上述理由。2月1日上午10时，我被召到中国银行大楼。我向代总统解释：我不是寻求和平的适当人选，在代表团中有我的名字可能使共产党人感到刺眼；我认为张元济、侯德榜、卢作孚将是更为合适的人选。但是，代总统不听我的陈述，并且说，我应该去。
经过再三慎重考虑，陈光甫最终还是决定不参加这个代表团。2月3日，他给李宗仁写了一封信，表示：“惟兹事体大，涵义微妙，人选如何，实成败所系。弟一生从事商业银行，与英美关系较深，且曾厕身立法委员，如滥竽其中，转授对方藉口之柄，将恐有碍进行。”2月6日，李宗仁宣布代表团由颜惠庆、章士钊、江庸及沪江大学校长凌宪初、大夏大学校长欧元怀、永利化学公司总经理侯德榜等六人组成。但李宗仁很快从北平方面获悉，中共对陈光甫不参加代表团“有点儿失望”。2月8日，李再次飞到上海，一是再次动员陈光甫，同时讨论上海的经济问题。一到上海，李宗仁即在黄绍竑寓所召见了陈光甫、钱新之、张公权等上海资本家并一起吃午饭。陈光甫在日记中说：
我参加和平代表团去北平的问题再次被提出来。在我们互相问候之后，代总统立即重新提出他的要求。他说，他在北平的代表送来消息，由于我不去北平，共产党人有点儿失望。因此，代总统要求我根据这一情况重新考虑。我很为难。但是，我告诉李代总统，我真正看不出改变我的决定的理由。他是个好人，不想过分勉强我。
当天下午，陈光甫到颜惠庆家参加会议，讨论去北平的和平代表团可以做些什么。章士钊将他拉到另一房间，说自己收到北平的电报，共产党人渴望他参加代表团。陈再次说明：上海财政形势如此严重，如果我参加代表团，共产党人无非希望从我身上取得如何使上海经济成功运转的主意。事情到了这一步，眼前已没有解决的办法，我的意见是只有依靠美国的援助，说得更明确些，我们必须有美元。过去两年，我们大概得到15亿美元的援助，上海乃至中国才得以存在。由于赤色分子不断地攻击“美帝国主义”，我无法想象，我如何能与他们谈话，这可能受到莫斯科的影响。在我与共产党人之间缺乏走到一起并进行讨论的共同基础。陈光甫在后来的日记中提及决定不去的原因：还是主要出于为个人考虑，他称“自己不是一个年轻人，退休计划早已酝酿。想过一种退休生活，实现自己的个人自由”。实际上，他对陌生的共产党充满了恐惧，担忧可能失去他说的这种“个人自由”，尽管经过李宗仁及其他人的一再劝说，陈光甫还是拒绝参加“上海人民代表团”，回避任何和共产党人见面的机会，李宗仁不得不放弃。
