那次见了孙立人将军一面后，父亲的事业开始走下坡。后来我知道，那几年父亲替肥料公司解决了不少烟害赔偿问题，使得那些高雄议员们无法借机勒索。然而父亲的才干以及他在“省政府”方面的人际关系，却让那些议员觉得有机可乘。他们要父亲为他们介入的一些地方工程向“省政府”官员关说，并答应在工程预算通过后，将以工程款的一部分作为关说酬劳。那时，经常有豪华轿车停在我们家门口，“议员”亲自来“接”父亲到台中出差，但我们看得出父亲的身不由己。母亲常哭着求父亲不要与他们来往，但父亲似乎有把柄握在对方手上，不得不去做那些为工程关说的事。家中又开始为了钱成天争吵，因为父亲不但没得到佣金，还负了不少的债。
此时我已在读高中，忘却这些忧烦的方法是混太保、打群架。高一、高二时，父亲对我在外闯祸不但宽容，还经常“很有办法”地替我解决问题。每当我被一个学校开除时，他就动用关系替我再找学校；当被我打伤的人找上门来，他悄悄地与对方在外面商谈赔偿，不让母亲知道。那时我却很少关心他，直到有一天母亲对我们说，其实父亲早已被肥料公司开除，并陷入一些金钱官司中。这时我才注意到父亲的改变：他变得消沉、静默，忍受母亲对他的数落，他已完全接受自己的失败，也不再想对我们证明他很有办法。
我刚入伍服兵役，父亲便入监服刑，不久被转入医院。新兵训练结束后，我被分派到金门前线，无法回台湾看他。父亲给我的信中写道：“吾一生戎马，从未做出对不起国家社会的事，今受小人陷构……”我流着泪读他的来信——他说的不是真话，但我更能因此感受到他的痛苦。为了生活，为了让妻儿及村中朋友瞧得起他，他挣扎于做个正直的军人和有办法的大人物之间，而至死他仍相信自己是个军人。
在军中，我对父亲所经历的抗战、“剿匪”战争又有了些新认识。我到金门战地单位报到的第一天，便有多个老士官来到营部看我，说是来看“小老乡”。后来由于我成为业务士官，查阅人事资料时竟然发现本营有数十位湖北籍老士官。与他们相熟后我才了解，他们原来都是1948 年从湖北某县结伴逃难的同乡农民，到了上海，住在车站与骑楼下，没得吃、没得穿。有人拿粥给他们吃，又拿衣服给他们穿，要他们在一些名册上画押签字，说是为了领馒头。就这样，他们便糊里糊涂地成了军人。后来我知道本师其他营里也多有这样的情形——所谓抗战、“剿匪”老兵，有许多其实只是当年的难民；当时许多国民政府军的部队被打散后，在上海、广州重新“整编”，也就是抓些难民来当人头充数。
