谈荣章叫道：“叶翔之是个混蛋，杨吉昌的孩子分明是他的，他污陷我，害得我每年给杨吉昌亡坟烧香。”
叶翔之说：“你他妈的血口喷人，我跟杨吉昌啥都没有过，哪来的孩子？”
唐纵气得脸色惨白，正要拂袖而去，毛人凤站起来对叶翔之和谈荣章说：“两位要注意场合，不要胡闹。”
见毛人凤发话，叶翔之和谈荣章立即像孩子似的一样听话，安安静静地坐下来，会场再次安静下来。此时唐纵根本没有心思讲话了，只能草草结个尾，跟大家说一下军统裁撤的事：“军统局之归并裁撤，既不是因为戴局长之死，也不是因为共产党的反对，而是由于时势之需要而产生。因此，在裁并调整的时候，义利公私之分甚为重要，如果把握不住，将来是会犯严重的过失与危险的，希望大家勿存私见。”然后他用雪白的手帕擦擦脸上的汗，怒气冲冲地离开了会场。
这以后，唐纵丢了面子，又怯于人情舆论上的抵触，尽量避免踏入雷池，举凡有关改组裁并的事务，大多委托给了毛人凤，并且唐纵对自己被任命为内政部次长兼全国警察总署署长心满意足了，并不想介入军统内部的派系斗争中，于是平静地退出了军统内部三大派别的角逐。
没有了唐纵，湖南派顿失重心，很快分化瓦解，许多湖南派大特务纷纷投靠郑介民、毛人凤以求自保，湖南派不复存在了。毛人凤俨然已经成为军统的内当家。
唐纵既被郑介民和毛人凤挤了出来，没多久，他被任命为全国警察总署署长，开始苦心经营自己的警察总署。
毛人凤后来曾这样埋怨唐纵，说：“唐先生只会向家里（指“军统”）要东西，要去了马台街的房子，要去了不少的汽车，要去了中美所刑事实验室的全部器材，就是不肯要人！”意思是不把军统的人安排在城里的警察局里任职，特别是以后唐兼了国防部保安事务局长之后，也只挑了赵世瑞等几个人去工作。从此，唐纵基本上离开了保密局的核心岗位。后来国民党撤退到台湾之后，他的工作逐渐转移到党务方面，著有《思与行》、《美国政治与英美政党之比较》和《党友之理论与实践》等书，与军统再无瓜葛。
