不久，张自忠由见习官升任排长，连长是后来颇有名气的“倒戈将军”石友三。
五
1917年7月，段祺瑞为推行武力统一政策，派兵入川、湘两省征伐南军，却连遭败绩，乃命令第十六混成旅前往湖南增援。
冯玉祥不愿同南军开战，率所部到达江苏浦口，便借故停兵不进，在就地练起兵来。
在浦口期间，冯玉祥特别主持编写了一本《战地一补》小册子，发给全军官兵。这个小册子内容多系历史上的故事，如苏秦发奋刺股、田单守即墨、周亚夫细柳营等等。用意在于培养官兵勤奋学习、英勇无畏、机智灵活的精神。张自忠对这些古代名士、将领的风采，十分心仪。
第十六混成旅在段祺瑞的不断催促下，于1918年2月方离开江苏入湘，到7月才抵达常德。
在常德，冯玉祥又对部队进行了大规模的系统训练。
石敬亭、门致中前来投奔冯玉祥。这两人后来成为西北军的高级将领。其中石敬亭对张自忠的成长有较深的影响。
为了配合训练，冯玉祥还责成、组织人编印了几种精神教育的书籍，诸如《军人读本》、《精神书》、《义勇小史》、《告往勖来篇》和《国耻歌》等，令官兵阅读、讲解、背诵，连以上军官，由冯玉祥亲自考查。有时他还亲自给官兵们讲精神教育课和军事理论课，讲军纪，讲爱国精神，讲孙子兵法；有时也讲古代侠客故事。还成立英文班、日文班，组织军官学习，目的在于使军官们了解和阅读外国军事书籍。这次军事训练很系统，分“学”、“术”两科，“学”是指系统的军事理论学习和精神教育；“术”指体能和技术训练，主要项目有射击、体操、障碍跑、荷枪行军、劈剌、刀术、拳击等。这对于张自忠后来治军具有深刻的影响。
1918年9月，冯玉祥为增进初级军官的军事知识和技能，在常德设立军官教导团，以炮兵团长鹿钟麟兼任团长，刘郁芬、石敬亭、刘骥、门致中等任教官，内分军官和士兵两个队。次年初，张自忠奉派入教导团军官队学习。张自忠十分珍惜这次学习机会，学习勤勉刻苦，加上他文化基础好，所以每次考试，成绩都是名列前茅。鹿钟麟对他十分赏识，将他树为“标准团员”。所以后来冯玉祥评价张自忠说：“在教导团中，他又作了一个标准团员，当时鹿钟麟团长非常夸奖他，他非常勤学，对人处事都极其真诚友爱，又能刻苦耐劳，这时便显出他未来一定是个将才。”
在教导团学习半年，结业后恰逢第十六混成旅扩编新兵团。张自忠升任该团第二营第五连连长。新兵团团长是张维玺，佟麟阁为第二营营长。
为便于训练，招来的新兵，均按其文化程度分别编连。张自忠和第五连，全系由投军的学生组成，所以又叫学兵连。他这个连有120余人。
这期间，张自忠曾一度调任上尉副官，又调任水上陆战队第三队队长，驻河洑训练新兵。这水上陆战队实际上是沅江上的水上警察。张自忠不愿干这种非正规部队，又要求经冯玉祥同意，重回学兵连当连长。
第十六混成旅在常德驻防两年。冯玉祥治军很严，不准部队骚扰百姓，所以军民关系十分融洽，整军、练兵取得很大成效。这对这支部队日后的发展奠定了基础
1920年，作为南军的谭延闿、赵恒惕等部攻占了长沙，敦促冯部离开湖南。这年7月，第十六混成旅向北撤入湖北，驻谌家矶。
由于皖系扣发军饷，部队给养困难，一度陷入困境，全旅官兵，每日只能以少许杂粮和盐水免强度日。
这一天，张自忠接到七弟张自明的家书，讲述家乡山东今年大旱，赤地千里，饥民遍野等悲惨景况。这封信，使张自忠忘却了自己亦在身处饥饿的困境，立即回书给七弟自明：
“……望弟尽家中力所能及赈济贫民，须知善无大小，能救一人，即有一人之功，能济一村，即有一村之善，勿乘人之危机以谋私利，勿籍公家之权力以济己私。当此饥馑之年，正我辈为善之日也。望我弟努力为之，勿以无力自馁也。闻上海广仁堂派委到临（清）馆（陶）一带放赈。吴越之人尚能见义勇为，况我桑梓之地，遇此凶年，何忍坐视不救。”
这个时期，冯玉祥将张自忠已训练有素的120名学兵拨给工兵营，另从河南、山东、安徽招募了一批学生，组成学兵队，直属旅部，冯治安任队长，下属两个连，第一连由冯治安兼任连长，第二连张自忠任连长。
冯治安比张自忠小五岁，待人诙谐风趣，而张自忠则显得刚毅寡言。两人姓格形成鲜明对比。但两人却配合默契，相知很厚。
张自忠训练新兵要求很严格，往往是在训练场上亲自示范，在修马路、挖壕沟等一切劳务中，他都与全连士兵一起干。这时给养困难，他和三个排长、一个司务长和一个文书，与士兵一起，同样吃粗米饭就盐水，绝不例外。他十分注重军纪，遇有违犯者，初犯则说服教育，再犯则严厉训斥，仍不改则军棍重责。故尔士兵中流传一道歌谣：“教你学好不学好，鸭嘴军棍挨上了。”
三个月后，第二连在全旅军事考核中夺得第一，成为全旅模范连。他这全连126名士兵，后来几乎人人成才，仅军、师长就各出了5个。即：军长刘振三、刘汝珍、张人杰、李九思、吴化文；师长展书堂、王志远、安克敏、宋铁林、张国武等。旅长有李志远、葛开祥、彭秉信、孙厚禄、李继成、季振同、魏书琴、王丕襄等八人，至于团、营长就更多了。
