当时，作为中国传统的“出口创汇三宝”（茶叶、陶瓷、丝绸），茶叶贸易随着英国人在印度和斯里兰卡等地的大规模引种茶叶，出口已经日渐衰落；而欧洲人自产的陶瓷质量也越来越优越，逐步取消了对中国瓷器的进口；在生丝和丝绸方面，日本和欧洲的养蚕业和丝绸业也不断崛起，中国的市场份额不断萎缩。
与茶叶、陶瓷、丝绸等出口业务逐渐萎缩乃至消失相反，外国的机器织布等优质商品则不断输入中国，在此情况下，作为徽商除了盐业外的第二大主营业务，茶叶贸易也在徽商商帮中逐渐没落，另外，经营布匹生意的徽商也逐渐被淘汰出局，在传统的各项主营业务上，徽商受到了几乎是全面性的致命打击。
而作为最后硕果仅存的徽商大佬，先是倚靠浙江巡抚王有龄、做官商和军商生意起家的胡雪岩，在王有龄对抗太平军失败自杀后，又接着投靠湘军和左宗棠，胡雪岩还成了左宗棠和湘军南征北伐、财政运转的左膀右臂，并通过湘军和左宗棠的庇护经营钱庄、典当、药业、茶叶、生丝等生意。
1882年，胡雪岩因为与外国洋商进行生丝大战失利出现了巨额亏损，在此情况下，向来与湘军派系不合的淮系李鸿章立即指派官商盛宣怀出马，一方面拖延本来要支付给胡雪岩的官银，另一方面则大规模散布消息、挑拨储户到胡雪岩的钱庄进行挤兑，在多重失利和以李鸿章为首的淮系势力强势打压下，胡雪岩历时三十多年建立的商业帝国，最终在短短几个月间轰然崩塌。