女性与男性大脑的发育过程有所不同，而这种差别导致了今后我们在情感认知和情感交流方面的巨大差异。人类大脑在子宫中的发育过程相同，但在怀孕第八周时，男婴睾丸的功能性开启，带来了一系列变化。随着睾酮水平的上升，这种雄性激素“杀死”了许多负责沟通交流的脑细胞，取而代之的是许多负责运动、攻击、性冲动的神经元。在男性大脑中，这类脑区域是女性大脑同类区域的2.5倍之大。
青春期期间，大脑会产生更多变化，更多变化发生在怀孕以后。其间性激素水平飙升，导致性别差异更明显。随着女性大脑的发育，大脑预留出更多空间和细胞，用于控制语言、听觉、记忆。女性的记忆枢纽——海马回，较男性大，也反映出女性的进化优势，我们能够记住情感事件的细节，记住恋人的某些特殊行为——尤其是那些言行不一的部分。我们的记忆对我们的情绪有着影响。杏仁核在脑内主管恐惧、攻击、愤怒，而海马回能够缓解杏仁核的敏感反应。男性脑内的杏仁核较女性大，且含有睾酮受体。
你是否想过，为何自己能够发泄情绪，随后又平复情绪，但自己的丈夫却总是有些挥之不去的情绪呢？女性大脑中较大的海马回和较小的杏仁核，让我们较之于男性，能更好地控制情感的爆发，在面对恐惧和进攻行为时尤其如此。我们会有情绪化的反应，但我们会随之快速恢复正常，这得多亏了海马回。
但是，我们所生活的世界不接受这种行为反应。当一个人遭遇突发事件时，杏仁核功能倍增而海马回功能下降，这也是为什么当你遭受逼迫时会陷入恐慌，记忆力减退的原因。慢性应激状态不仅使海马回功能性下降，还会损伤脑细胞。海马回逐渐萎缩，无法再压制平复被激动起来的杏仁核，因此我们对于压力源的反应也变得激烈。这种情况常常出现在创伤后应激障碍症（posttraumatic stress disorder）患者身上，以及长期处于慢性应激压力之下的人身上。
利用直觉来感知他人的目的和感受是一项重要的社交技巧，通常是在自发的、无意识的过程中学会的，而这种行为也是女性独有的特点。我们越敏锐地捕捉到身体的兴奋信号（例如觉察到心跳），我们就越擅长感知自己和他人的情绪。
脑岛是大脑中专司自我意识、同情、人际交往的部分，能够帮助我们理解他人。女性的大脑岛叶明显大于男性。大脑岛叶让我们产生“直觉”，了解自我和他人的情绪，同时，大脑岛叶也让我们体会并察觉到躯体感觉。人们常说的“女人第六感”一直以来让女性更善于照料和养育自己的家人。女性这种能力让我们更易觉察到他人的情绪和目的，帮助我们判断一个男人在将来是否会有暴力倾向，是否会对孩子撒手不管，也能让我们理解尚不懂言语的婴儿究竟是饿了还是病了。
而男性的生理结构决定他们不会像女性一样敏感。女性有更多的大脑回路用以表达言语和感情，发现情绪的细微差别，预测他人的情绪反应。既然男女之间确实存在移情系统上的差别，很有可能你的男友有时确实无法判断他自己的感受（称为述情障碍症[alexithymia]），也没有足够的能力来表达相应的感情。睾酮压抑了男性的同情心，也削弱了他们通过眼神判断他人情绪的能力。但是，判断一个人是否宽容无私，要看他能否能够留意到他人的需求，也许这就是你觉得男友自私的原因。
