尽管胡适出使美国的几年中，整日殚精竭虑，不辞辛劳四处演说，以唤起美国民众对中国的同情，以正义的力量介入战争，达到“以战止战”的目的。想不到这一切竟招致以孔宋集团为代表的政客们的种种非议与责难，各种流言甚嚣尘上。而作为尚来好热闹和面子的胡适，在四处讲演的同时，又喜欢在美国各校接受名誉博士学位，四年间，竟领得30余个荣誉博士学位。[17]如此炫目浮华的盛誉，确也过于显山露水，令人眼热，并假人以口实。于是，国内的好事者便众口一词，谓胡适“只好个人名誉，到处领学位” 云云。而原来就与胡适特别是胡的“打手”傅斯年不睦的孔祥熙，更是借机煽风点火，四处诋毁，说胡适书生气太重，办事不力，整天只顾到处拿学位，对党国利益毫不关心，在中立法、借款、禁运、合作等主要使命上一事无成，并在蒋介石面前屡进谗言，最终导致“老大”对胡渐渐失去了原有的信赖。1940年6月，蒋介石撇开胡适，命他的郎舅宋子文以自己私人代表的身份前往美国，争取对华贷款。宋子文下车伊始，便以“老二”勃起的气势，劈头盖脸地对前来拜见的胡适抡击道：“国内有人说你讲演太多，太不管事了。你还是管管正事吧！”胡适经此一击，自是不服，当场同宋子文争执起来，幸得众随从拉开，才免于更大的乱子发生。自此二人结怨，再也难以共事与合作。宋为急于立功，在美国捞得“大鱼”，也撕破脸皮，开始对胡适进行公开诋毁与挤压。
1940年10月，宋子文致蒋介石密电，公开表示对胡适的不满，说：“欲得美国切实援助，非空文宣传及演说所得奏效，务面向各政要及各界不断活动。”又说：“际此紧要关头，亟需具有外交长才者使美。”甚至公开提出撤换胡适，推荐施肇基接任驻美大使。蒋介石认为宋之意见自有道理，但鉴于胡适与罗斯福总统的校友关系以及在美国人民心目中的威望，思虑再三，迟迟未下决心。
