清道光年间，扬州的徽商在打牌时，突然增加了两张牌，一张绘有桃树，打牌人拿到此牌，即使是全赢也是输；另一张是“桃花女”，抓到此牌，即使全输也算赢，因为这个牌名的意思就是任人玩弄的妓女。原来“桃树”就是两江总督兼两淮盐政使的陶澍，“桃花女”即是陶澍的女儿。这位陶大人为何得罪了一向善于攀附官僚的徽商呢？
徽商的成功除了自身杰出的经商才能外，更得益于他们“钱势之交”的空前成功，两淮盐商的发迹正是通过与封建官员的“紧密合作”，取得了两淮盐业的垄断经营权。这种“合作”实质就是徽商的行贿与两淮及各级盐政官员腐败堕落，侵吞国家利益，鱼肉人民的过程。
腐败必然导致两淮盐政弊端百出。道光年间，身为两江总督兼两淮盐政使的陶澍看不得自己地盘上出乱，上任的第二年元月就上奏折请求皇上严厉查处，徽商一下子乱了阵脚。这还是小事，1832年（清道光十二年），陶澍更向皇帝请求改革盐法，实行“票盐制”，即官府在盐场附近设局课税，不论谁，凡缴足盐税，即可领标运盐，销售各地。“票盐制”的实行打破了盐商产、购、销的垄断特权，徽商垄断两淮盐业经营特权的时代结束了，习惯于垄断经营的徽州盐商一下子措手不及。
“屋漏偏逢连阴雨”，如果说道光年间的“废引改票”仅使徽州盐商一败涂地的话，那么咸同年间的兵火劫难，则使整个徽州商帮受到沉重一击，元气大伤，加快了徽州商帮的没落。由于清朝统治的极端黑暗，终于在1851年爆发了太平天国农民起义。在人民的广泛支持下，起义发展迅猛，清政府为了扑灭这场革命烈火，几乎动员了全部军事力量，双方展开了激烈的较量，如果加上后来的捻军起义，战争持续了18年，战火波及全国18个省的600余座城市。这场战争从政治上说，当然是革命势力与反革命势力的拼搏，但由于战争所造成的社会动乱，在客观上使徽商受到了沉重的打击。
首先是战乱使经商路线被割断，经商区域被封锁，徽商商业活动陷于瘫痪。长江沿线的各大城市原是徽商聚集的地方，但战乱期间，这里又是一番情景：“长江虽系七省通衙，货船早经绝迹。”长江下游的各大城市以及乡村市镇，本是徽商活跃的地方，然而咸同年间却成了太平军与清军搏杀最激烈的战场，从而造成商贾绝迹、商业停顿，一片萧条。
其次，战乱使徽商的商业资本受到极大损失。太平军为了打开进攻浙江的通路，1854年2月首先攻占祁门。由于徽州的战略地位，清政府与太平军展开了激烈的徽州争夺战。战火在徽州全境蔓延了12年，给徽商带来的损失难以计数。清军借剿太平军之机，“曾国藩驻师祁门，纵兵大掠，而全部窖藏一空”。太平军驻徽期间，为了筹饷，自然也波及徽商。还有在战乱期间，徽州地主阶级为了“保卫乡土”，又纷纷建立团练武装，所需经费全靠“捐助”，也主要依靠徽商解囊。
延续十余年的战乱，徽州受到毁灭性的破坏，房屋被烧，财产损失殆尽，生命受到摧残。加之战乱后接踵而来的瘟疫和灾荒，人口锐减，“男丁百无一二”。连曾国藩也承认：
皖南及江宁各属，市人肉以相食，或数十里野无耕种，村无炊烟。
这场战乱，对徽商来说，不啻灭顶之灾。
与此同时，西方列强的入侵也加速了徽商衰落的进程。由于洋纱、洋布、洋颜料以及南洋木材的进口日增，使徽州布商、木商的生意大受影响。钱庄、银行业的兴起，又使徽州典商丧失了在金融业的原有地位。徽州茶商后来也因洋商乘机操纵市场压价收购，而导致连年亏本，形成“十商九困”的局面。
到光绪中叶，作为显赫一时的封建性商帮，徽商最终是“无可奈何花落去”了。但徽商的兴盛与衰落，却留给了我们无尽的思考。
