当时,作为中国传统的“出口创汇三宝”(茶叶、陶瓷、丝绸),茶叶贸易随着英国人在印度和斯里兰卡等地的大规模引种茶叶,出口已经日渐衰落;而欧洲人自产的陶瓷质量也越来越优越,逐步取消了对中国瓷器的进口;在生丝和丝绸方面,日本和欧洲的养蚕业和丝绸业也不断崛起,中国的市场份额不断萎缩。
与茶叶、陶瓷、丝绸等出口业务逐渐萎缩乃至消失相反,外国的机器织布等优质商品则不断输入中国,在此情况下,作为徽商除了盐业外的第二大主营业务,茶叶贸易也在徽商商帮中逐渐没落,另外,经营布匹生意的徽商也逐渐被淘汰出局,在传统的各项主营业务上,徽商受到了几乎是全面性的致命打击。
而作为最后硕果仅存的徽商大佬,先是倚靠浙江巡抚王有龄、做官商和军商生意起家的胡雪岩,在王有龄对抗太平军失败自杀后,又接着投靠湘军和左宗棠,胡雪岩还成了左宗棠和湘军南征北伐、财政运转的左膀右臂,并通过湘军和左宗棠的庇护经营钱庄、典当、药业、茶叶、生丝等生意。
1882年,胡雪岩因为与外国洋商进行生丝大战失利出现了巨额亏损,在此情况下,向来与湘军派系不合的淮系李鸿章立即指派官商盛宣怀出马,一方面拖延本来要支付给胡雪岩的官银,另一方面则大规模散布消息、挑拨储户到胡雪岩的钱庄进行挤兑,在多重失利和以李鸿章为首的淮系势力强势打压下,胡雪岩历时三十多年建立的商业帝国,最终在短短几个月间轰然崩塌。