对于赫夫纳来说，两件事情最让他感到沮丧。首先，他发现米尔对性没有什么兴趣。“他告诉我，米尔在床上不积极，他把自己知道的所有招数都用上了，就是为了取悦她，但完全没用。”赫夫纳的密友埃尔登?塞勒斯透露。其次，赫夫纳还没有做好当父亲的心理准备，他同意要孩子完全是出于社会的压力。1952年11月8日女儿克里斯蒂的降生让他欣喜，但从内心来讲，他并不是那种恋家的男人。用他的话来说：“这些事情凑在一起，让人觉得无聊。我经历着种种变化，但心思不在这里。”他没有培养出多少做父亲的责任感，1955年第二个孩子戴维的出生只能使局面恶化。米尔生下老大后就想着再添一个，赫夫纳不肯，米尔只好偷偷算好了生理期。“第二个孩子是计划之中的，只不过不是我计划的。”他懊恼地写道。24
同时，这段不甚美满的婚姻因赫夫纳日渐活跃的性幻想而面临着越来越大的压力。他那强烈的性欲在婚礼当天下午就暴露无遗。当时是在米尔父母家，天气炎热，亲戚们都在家里，赫夫纳就想跟米尔在卧室做爱。她拒绝了。接下来的几年里，赫夫纳对性的痴迷变本加厉。他在新公寓拍下的照片中就有一张米尔的背面裸浴照。他的自传里有一封1952年写给后代的信，那封信就是用小幅照片装饰的，照片上的美女要么衣着暴露要么干脆不穿。赫夫纳乐此不疲地在新闻里搜索与性有关的花絮。他在第二年的一封信中写道：“本月，与性有关的标题两次登上了报纸的显要位置，一次是黄油产业继承人迈诺特?杰尔克被认定拉皮条，从每位电话应召女郎那里收取50到200美元的费用；另一次是克里斯蒂娜?乔根森在接受了一系列复杂手术后回到美国，从男人变成了女人。”正如埃尔登?塞勒斯所说，“他满脑子都是性”。25
赫夫纳对性的痴迷并非只是停留在精神层面。在一群年轻的已婚朋友当中，他是性实验的行家。他在自己的公寓里举办晚会，放映色情电影，挑逗观众的欲望，他还喋喋不休地进行评论以消除尴尬。他组织脱衣扑克和脱衣猜字等有伤大雅的游戏，游戏者会大量饮酒来消除拘束感，最后男男女女都会脱得只剩下内衣。按照塞勒斯的说法，在这些喧闹的聚会上，半裸着身子的人们跑来跑去，嬉笑打闹。“没有发生真正的性行为，但气氛是极具挑逗意味的。”他说。26
赫夫纳走得更远。某晚，他与米尔以及贾妮和埃尔登?塞勒斯一起观看了一部色情电影。之后，他建议四个人在同一张床上做爱，当然是丈夫与自己的妻子。他们真的那样做了，用塞勒斯的话说，“感受果真不同，很刺激”。据米尔透露，赫夫纳开始暗示交换伴侣，尤其是与塞勒斯夫妇，但这一想法未能实现。最终，类似的事情还是发生了，是与休的弟弟基思和弟媳蕾。一天晚上在公寓里，米尔最终拒绝跟基思做爱，但休和弟媳睡在了一起。27
很快，赫夫纳的胆子更大了。他购买了必要的设备，拍摄了自己的色情片。这部名为《化妆舞会之后》的片子是在朋友的公寓拍摄的，片中，赫夫纳与一位女友做爱，但他们戴着面具以免暴露身份。还有一次，赫夫纳与埃尔登?塞勒斯分享了一位伴侣。当时塞勒斯自己的性实验也很快升温。他把一个姑娘带回家，姑娘不介意再来一位朋友，“所以我叫了赫夫，他马上赶来了”。赫夫纳对性经历的体验非常强烈，他甚至体验了一把同性恋。据塞勒斯透露，一天晚上，在芝加哥市区，赫夫纳被男人骚扰，“开始觉得恶心，后来发现挺有意思。据我所知，那个男人只是给他口交了”。28
