此举不仅触怒了阿肯色州的农民阶级，同时蓝领阶层也被惹恼了，所有需要应付更高税务的人们暴跳如雷，克林顿遭到了来自四面八方的攻击。尽管克林顿已经竭力善后，想出一些弥补措施，但这件事还是被共和党人利用，添油加醋变成攻击他的武器。这时候，希拉里的姓氏问题同样也被别有用心地利用起来。他们拿出报纸上刊登的切尔西的出生启示，上面的父母姓名分别是比尔·克林顿和希拉里·罗德姆。希拉里解释说，这是为了彰显她的自尊和独立，“我只是为了证明我还是我自己”，这当然是在她年轻时候就决定好的事，不过人们对此发出一阵讥笑，觉得这是奇怪而愚蠢的表现。这对克林顿的仕途造成了严重的影响，负责社论的漫画家们将克林顿画成了一个小孩子，画中他骑着一辆幼稚的三轮车，标题叫做“宝贝”。
这件事本来并没有让克林顿夫妇感到不堪承受，直到他们发现此事的背后操纵者是吉米·卡特时，他们立刻感到无法言说的痛苦。克林顿夫妇一直是忠心耿耿地效忠于他的，尤其是希拉里，在1980年民主党竞争总统候选人时，卡特和肯尼迪成为了对手，民主党中大部分人都支持肯尼迪，不管朋友们怎么劝说，希拉里还是坚定不移地支持卡特。
不久后发生的马里尔偷渡事件，卡特更是给了克林顿致命一击。在这次偷渡事件当中，美国佛罗里达州一共涌入了10万名古巴难民，卡特下令将他们关进了4座军营中，而其中的1.8万人被关进了阿肯色州的查菲堡军事基地。刚开始克林顿表现得不错，他公正严明地下达各种指令，但6月1日，难民发生暴乱，1000多名难民冲出了军事基地。这次暴乱实际上军方应负更大责任，因为他们没有认真负责地维持秩序。但克林顿的形象立刻受到了影响，卡特火上浇油地截取了一些照片，这些照片容易令人想到克林顿是个无政府主义的支持者。情况依旧在恶化中，克林顿要求卡特不要再往查菲堡基地输送难民，当时卡特也答应了，但不久他出尔反尔。8月1日，卡特下令将关押在佛罗里达、宾夕法尼亚和威斯康星的难民全都送往查菲堡基地。克林顿非常恼火，他立即表示抗议，但这已经太迟了。
在此事中，希拉里比克林顿看得更清楚，她感到他的竞选可能要失败了，尽管在民意调查中克林顿仍占优势，她立刻请求迪克·莫里斯竭力挽救。但局势已定，在选举时，克林顿只获得了48%的选票，而对手比他高出4%—他输掉了选举。克林顿好像被彻底打垮了，他生气全无，在承认选举失败的演讲中也垂头丧气，最后他只能让希拉里代替他完成演讲。希拉里得体地向现场所有的媒体和支持者们表示感谢和歉意，最后还邀请他们次日清晨到州长府邸参加辞别集会。她回忆起那次集会时说：“那简直就是一场守灵！”
