匈奴的几个小王知道我们是从汉朝来的，觉得事情重大，不敢私自处理，就立即把我们押送到匈奴王廷。我见到当时的军臣单于，就理直气壮地对他说：“我们是大汉朝出使大月氏的使者，请你赶快放我们走。”军臣单于看着我笑道：“大月氏在我国的北面，我是不可能让汉朝的使者从我这里过去的。如果我匈奴要通过你们汉地去出使南方的越国，汉朝会同意吗？”我告诉他：“我们大汉朝是礼仪之邦，不会阻止外国的使者通过。”军臣单于摇头道：“这个恐怕你做不了主。”
自古就有两国交战不杀来使之说。那匈奴和中原王朝经常交战，当然也不能杀掉大汉朝的使者，否则，现在把事情做绝，以后也没法再打交道。于是匈奴单于就把我们一行扣留和软禁起来。
因为我是汉使，他们对我还算客气。单于为软化、拉拢我，打消我出使大月氏的念头，真是软硬兼施，威逼利诱。他们给我找了一个漂亮的匈奴女子为妻，想这样拽住我的手脚。那姑娘对我真的不错，我们慢慢有了感情，还生了一个儿子。
但是，和我一起来的那些人就没有这样的待遇了，他们全被匈奴人当作了奴隶。我觉得实在对不起他们，但是也无可奈何。只是在我的强烈要求下，匈奴人才允许堂邑父跟着我。我虽然被严密监视，但我每天只要出去，就一定手持“汉节”，表示自己的身份，表示我始终没有忘记汉武帝所交给自己的神圣使命，没有动摇为汉朝通使大月氏的意志和决心。就这样，我在匈奴一直被软禁了10年。
后来，军臣单于死了，他的弟弟左谷蠡王自立为单于，进攻军臣单于的太子于单。于单失败逃走。因为内乱，他们对我的监视渐渐有了松弛。公元前129年的一天，机会终于来了，我决定立即逃走。但是，我不能回长安，我出使大月氏的任务还没有完成，我要继续西行，这样我就不能带上我的妻子和儿子。10年来，我和妻子已经有了真正的感情，对儿子更是疼爱。怜子未必不丈夫，我并非对妻儿冷血，我和一般人同样有儿女情长。但是，为了完成我的使命，我不得不离开他们，也许是永别。我把真情告诉妻儿，他们都理解我支持我，他们对我表示，不管今后如何，他们活是大汉朝的人，死是大汉朝的鬼。我非常感动，和他们在漆黑的夜里洒泪而别。
可以想象，这种逃亡十分危险和艰难。大戈壁滩上，飞沙走石，热浪滚滚；而高山冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺。因为逃得紧急，我们没有带够路上必不可少的干粮和水。要知道，在大漠戈壁上行路，水就是生命。我们有好几次几乎陷入绝境。幸好，堂邑父善于用弓箭狩猎，我们用兽血止渴，以兽肉充饥，才保住性命，闯过难关。幸运的是，在匈奴的10年留居，我学会了匈奴人的语言，穿上胡服，不易被匈奴人查获，所以我们较顺利地穿过了匈奴人的控制区。
