7 月8 日的日记中他这样说。这一方面是阿瑶正在孕期，另一方面是公务日增，初尝权力带来的乐趣比性爱之乐更让这个年轻人兴奋。他现在不得不顾及自己的身份，如果在广州想要谋个好的前程，让上司和同事们知道自己还拖着个大肚子的中国情人肯定是不合适的。有一天，两位不期而至的军官朋友进入了他的住宅，幸亏阿瑶见机得早，机智地躲入后堂，才没有被他们发现。出于多方面因素，更多是自己声名的考虑，7 月的一天，他把阿瑶送到了澳门的一个小渔村，偶尔派仆人给她送钱去。
或许是因为囊中羞涩，有一次阿瑶向他开口要七百元钱，这让赫德很不高兴。显然，对这个怀孕期的女人，他已不再有往日的关怀。他甚至考虑要了结这层关系。他怒气冲冲地记载那些不愉快的会面场面：“我的女船娘回来了，她于前夜从澳门回来。她向我要二百元钱。我一定要和她断绝关系。”“阿瑶最开始的要求是七百元，或最少二百元，没门儿！”“给阿瑶一百二十五元，我的意思是这就了结了关系。”
他又开始另觅新欢。他毫无廉耻地记下他的艳梦：“星期五，从一个美妙的梦中醒来，梦见把美人搂在怀里，亲吻她——这样甜蜜——紧贴她的前额。”他开始频繁地和一个叫阿依的广州当地女孩幽会。他去东北门她的住所看她，送给她钱，又把她带到自己宝塔街的住处。星期天，他和阿依一同骑马去广州城外的南郊和西郊。如此迅疾的发展速度，无疑更适合他那种殖民地情欲的发泄，来得快，去得也快。或许这只是一个性苦闷的男人在同居女友怀孕期间的拈花惹草。
大约在这年年底或下年初，阿瑶生下了他们的第一个孩子安娜，他迅速离开情人阿依回到她身边，和她恢复了关系。
1862 年，他们的儿子赫伯特出生。三年后在上海，阿瑟. 哈特出生。
