随着时光流逝，明政府日渐昏聩，加上北部边关地区外患解除，一些朝堂精英开始受到贬黜，典型代表就是杨一清。杨一清从弘治十五年到正德元年的四年中，在弘治皇帝、兵部尚书刘大夏的支持下将陕西茶马业搞得风风火火。例如，牧场由之前的6.6888万顷增加到12.8473万顷；马匹由0.228万匹增加到1.10871万匹。通过茶马贸易购入马匹1.9077万匹，在他离任之际，仅河州、西宁、洮州三个茶马司还有存茶45万多斤，陕西灵州池盐的税额由1.4337斤提高到5.9万斤。
为此，正德元年（1506年）刘大夏奏请将陕西三镇的所有军务皆归杨一清节制。然而，三年后的正德四年，杨一清在老上司刘大夏被捕入狱之后，因再次得罪刘瑾而入狱。虽经大学士李东阳救助才免于一死，但自此陕西马政陷入衰落。虽然隆庆年间的总督王崇古也是一位治世名臣，但几经努力马匹仍不到8000匹。
茶叶走私在明初朱元璋时期就已经出现过。例如在茶马贸易中，明政府发现有些无良商人以假茶欺诈、以次充好坑害少数民族同胞，极为震怒。
朱元璋的本意就是利用茶叶贸易笼络少数民族同胞，而某些商人却为了自己的利益将他们推向了明政府的对手一边。起初，明政府要求商人“以德经商”，并颁布了相应的法规。
少数民族处于相对落后状态，他们对度量衡没有认知。明政府认识到这一点后，正德十年终止了以蓖中马进行贸易。蓖大则官亏，小则商家亏损，因此每1000斤定330蓖，以6斤4两为准，其内茶3斤，蓖绳3斤。因为少数民族不懂度量衡，明政府还制定了标准的茶包装规格，统一包装。
后见其效果不明显，明朝的皇帝们才开始使用严刑酷法。为了巨额利润，走私者也确实敢于践踏一切。例如，有些商人贿赂官员以使自己在与少数民族发生贸易争议中处于有利地位。为了牟利，他们还假扮少数民族人用劣马换官茶。一些边关将领、地方官员还将劣茶贩卖给少数民族群众。
因此，西部边区百姓对茶马贸易产生了极大抵触情绪，北元残余势力开始借机寻求联手。为了国防安全，明政府开始大规模地禁茶，除了四川、陕西的茶可以进行茶马贸易外，其他产区的茶叶不准进行茶马贸易。
其他产茶区的茶农、茶商则开始以低价走私茶叶。少数民族各部落地区因为获得了低价茶叶，自然不会积极进行官营茶马贸易。因此，明政府换来的马都是一些“瘦损”之马，而且数量越来越少，即使有些地方政府将每匹马提高到962斤茶叶都难以换到好马。
