１９０８年，徐世昌把剿匪得力的张作霖调到辽宁西北部的通辽、洮南一带，去剿除被沙俄收买的蒙古叛匪。据有关人记载：“洮南一带系干燥的草原，草有一二尺高，一望无边。夏日蚊虫甚多，大者如蜜蜂，叮人很厉害。”“虽在夏天，都得用棉花把头包上，否则寸步难行。狼群更多，一群就是十几条。当时队里的通信人员（当时叫做跑拨子的）往往被狼吃掉，剩下马跑回来……蒙古军队都是一个人乘两匹马，骑一匹，备一匹，力量足，跑得也快。以上种种，都是蒙军优于汉军的地方，所以张作霖清剿蒙匪不是一件容易的事情。”①
洮南一带是广阔无垠的大草原，是蒙匪活动的根据地。他们熟悉地形，了解民情，精于骑射，出没无常。他们行踪无定，多用奇袭，打了就跑，渺无踪迹。其中，有几股大的蒙匪，如白音大赉、牙仟、陶克陶胡等，都“扰害边疆，至数年之久，此剿彼窜，滋蔓难除，国家视为巨寇”②。
这些“巨寇”不除，国家不得稳定，百姓不得安宁。张作霖当此重任，开始并不顺利。后来，他采用了强攻和智取两手策略，派人打入蒙匪内部，取得情报，而逐渐扭转了劣局。１９０９年，徐世昌看到张作霖的兵力不足，便给他扩编，增强他的实力。把５个营扩编为７个营，又将驻扎在洮南的孙烈臣部划归张作霖部。这样张作霖的部队增至３５００人，成为东北的一支劲旅。
张作霖是个很知道感恩的人。受到东三省总督徐世昌如此青睐、如此器重，他剿匪更加努力。同时，他也在不断地总结剿匪的经验教训，摸索出一套可行的规律。他本人也吃苦耐劳，身先士卒。因此，又经过年余苦战，终于将白音大赉击毙，生擒牙仟，并打败了陶克陶胡。后来追击陶克陶胡８００里，一直将陶克陶胡赶到俄国。危害东北边疆多年的蒙患解除了，打击了蒙古分裂主义分子的嚣张气焰，维护了国家的统一和民族的团结，张作霖此功是不可没的。
