然而，最早发现高欢价值的，却是一位女人——高欢的夫人娄昭君。女人永远比男人更了解男人。她以身相许时，高欢彻彻底底是一粒普通的沙子，毫无闪光之处。当时他正在怀朔的城楼上干着力气活，和别的杂役毫无所异，娄大小姐却一眼相中，惊为天人：“此真吾夫也！”而那时，娄大小姐家的门槛都快被当地豪族的求亲队伍踩烂了。
娄大小姐家富甲一方，童仆数千，牛马以谷量，且好善乐施，各方豪杰多来相投，在当地声望很高。她的祖父娄提还曾因战功被加封为侯，也算家门显赫。
可高欢的出身却不怎么光彩，连清白人家都算不上——他是囚徒的子孙。翻开他的族谱，往远里扯，他的祖上还是渤海一代的望族。可到了他的祖父高谧时，高家便开始一蹶不振，每况愈下。高谧曾当过北魏的侍御史，却因犯法被发配至怀朔镇服役。高欢的父亲高树是个浪荡子，即使在怀朔这个穷乡僻壤也活得极为洒脱，不愿为柴米油盐所累，终日游手好闲，从未想着光宗耀祖。这可苦了高欢，出生不久，母亲韩氏便撒手西去，高树便索性将他寄养在女婿尉景家中。
家徒四壁，又逢年幼丧母，高欢便是在这样的艰难困苦中长大成人。也正是这苦难的磨炼养成了高欢日后无坚不摧的意志，这种寄人篱下的早熟使得他在尔虞我诈的斗争中变得从容淡定。
怀朔为北魏六镇之一，终年寒风凛冽、黄沙漫天，空气里弥漫的全是金戈铁马的气息。加上姐夫尉景又是怀朔监狱的小队长，小高欢整日与鲜卑军人厮混，学着舞刀弄枪，在杀声震天中日渐成长。此时中原大地的鲜卑族人在汉化的暖风中变得日益糜烂、柔弱不堪，而汉人出身的高欢却在边境中的寒风中变得孔武有力、生机勃勃。除了披着一副汉人的皮囊外，他的言谈举止已全是鲜卑族人的风格。但他身上流淌的终究是汉人的血，而正是这种民族身份的叠加让他在以后日益尖锐的胡汉之争中能左右逢源。
虽然家中一贫如洗，但高欢在经营家业上与其父却如出一辙，轻财重士，四处交友。这种慷慨使得高欢更加贫穷，他连匹马都买不起，投身军队混个一官半职的仕途之路就这么断了。高欢长得仪表堂堂，长头高颧，齿白如玉，而且少年老成，正是这种与生俱来的男性魅力才使得他被娄大小姐在万千人中一眼相中。
怀朔乃胡人聚居之地，没有繁文缛节的束缚，男女之间的风气也较为开放。娄大小姐在感情上的主动开放上也是巾帼不让须眉，选择了主动出击：她先让婢女向高欢表达了自己的爱慕之意。当时的高欢正苦于无出头之日，现在竟有富家小姐主动投怀送抱，哪有不愿之理？一来二去，郎情妾意过后，两人便到了谈婚论嫁的阶段。高欢两手空空的，哪有钱财娶亲？关键时刻又是娄大小姐慷慨解囊，将多年积攒的私房钱数次送与高欢，置办聘礼，将自己迎娶过门。如此一桩门不当、户不对的婚姻，便在娄大小姐的一手操办下办成了。
高欢除了抱得美人归外，还得了一大堆嫁妆，赚得钵满盆满。这位穷小子终于能买得起马了，由此也混成了军镇的一名小头目。不久，他又被提拔为函吏（军队的邮递员），终年在洛阳和怀朔两地之间奔波送信。
函吏这工作并不起眼，但对高欢的成长却非常有用，从此他不再是那边镇小城的井底之蛙，变得眼界开阔，心怀天下。在洛阳城，那里的达官贵人过着醉生梦死的糜烂生活，宛如天堂；可一回到怀朔，边镇穷苦军民却在生与死之间苦苦挣扎，如同地狱。高欢的生活就是在这天堂和地狱间飘荡，这一干就是风雨无阻的六年。每进京一次，高欢对这两地间贫富差距的体会便更深一次，心里头那种不祥的预感越来越强：人不患寡而患不均！这边境的怒火迟早会酿成巨祸的。
不安归不安，此时高欢的小日子还是非常滋润的：老婆带来的家业虽不能富甲一方，但也算殷实；函吏这份职业虽算不上出人头地，但毕竟是个铁饭碗，而且还能向人吹嘘点洛阳城的趣闻轶事，让大家羡慕。这天下虽动荡不安，但还没到山崩地裂的地步，过着小康日子的高欢用不着铤而走险。
