杨虎城被囚后，最为担心的是他的夫人和孩子，生怕蒋介石对他们下手。
正当杨虎城为家人日夜操心时，不幸还是发生了。毛人凤找人仿照杨虎城的笔迹，给杨夫人和杨虎城秘书宋绮云夫妇写了一封信。信中称自己很好，正在搞作战计划，因劳累过度，身体欠安，望夫人和秘书能来帮忙。杨夫人看了信，觉得没有什么疑点，就带着孩子来到南昌。
一天，正当杨虎城在院内散步时，院门开了，毛人凤走进来向杨虎城说：“祝贺你，杨先生，你们一家又团聚了。”
杨虎城正惊疑之间，他的小儿子杨拯中跑了进来，抱住杨虎城的腿说：“爸爸，我又见你了。”
杨虎城对跟在身后的夫人说：“你们怎么到这里来了？”
“不是你写信说你病了，让我们来照顾你吗？”谢葆真疑惑地说。
杨虎城一下子全明白了，转身再看毛人凤，已经不知溜到哪里去了。
从此，杨虎城和他的秘书宋绮云两家人就被监禁起来。1937年上海、南京相继失陷，南昌也在危险之中，杨虎城常常是家事、国事一起涌上，心情抑郁不已。不久，江西吃紧，特务们把他们两家往内地迁移。几经周折，来到湖南的益阳桃花坪，这里是国民党战争时期关押政治犯的一个场所。囚禁了许多进步人士。开始杨虎城还以为蒋介石是临时扣留他，当他看到益阳又有那么多的进步人士时，才意识到蒋介石是不会放过他的，因为蒋介石反人民、反革命的本质并没有发生任何的变化。
逮捕了杨虎城后，毛人凤的精明干练引起了蒋介石的注意，他要求毛人凤有重要情报时，可以随时向他报告，这标志毛人凤的地位又上升一步。
