在创办航运、煤矿、铁矿、铁厂、电报等一系列实业的过程中，盛宣怀深切地体会到，凭一己之力，或者凭一两商人之力，是无法毕近代工业之功的。
19世纪70年代，盛宣怀办招商局的时候，招商局所收股金不过几十万两白银。到19世纪90年代，招商局的轮船码头货栈已经遍布沿海沿江，资本也不过以百万计。而1896年他被委任为中国铁路总公司督办后，预算仅卢汉一条铁路（即北京卢沟桥到汉口，后来改称京汉铁路）就需白银4000万两，这类需要庞大资金的实业项目，即使寻求社会游资，也绝不是一家一户的银号钱庄所能承担的。就在这一年，他又接办了张之洞创办的汉阳铁厂和煤矿铁矿。铁厂原料要依赖铁路，铁路的铁轨又要依赖铁厂。当时也曾有人主张向洋人银行举债，但是洋人银行集款债券的买家，也多是中国富商。盛宣怀给李鸿章上禀帖说：“岂有聚吾国商民之财付英、德、法各银行之手，而自己则不为之料理，尚自诩足国足民，有是理乎！”所以他极力主张自己开办银行。随后他又向朝廷上奏，条陈创办银行的必要：“西人聚举国之财为通商惠工之本，综其枢纽皆在银行。中国亟宜仿办，毋任洋人银行专我大利。”同时他又亲自仿照汇丰银行起草了拟议中的银行章程。他在银行章程中明确写道：银行“不用委员而用董事，不刻关防而用图记，尽除官场习气，俱遵商务规矩”。这表明他决心把银行办成一个商业银行而不是政府的钱库。
创办银行的过程当然是不顺利的，障碍既来自内部，也来自外国。内部阻力是，政府很不习惯按照市场规律创办一个不由自己控制的银行。外部阻力则是列强很不情愿中国有一家自己的银行。当时俄国正在筹办俄华道胜银行，甚至直接跑来质问盛宣怀，我们正在筹办银行，为什么你们自己办一个华商银行？盛宣怀断然回答，怎么能禁止本国商人开银行，做生意？
光绪二十三年（1897年），盛宣怀主持的中国第一家近代银行终于在上海正式开业，行名定为“中国通商银行”，额定商股500万两，先收半数，另商借户部库银100万两。总行设于上海，同年在汉口设立分行，以后又在北京、天津、福州、广州、镇江、烟台、香港、重庆、保定、九江、扬州、苏州、宁波等地设立分支行。其内部管理全仿汇丰银行，总行和各重要通商口岸分行除有中国人担任经理外，还聘请一名外国人担任洋经理执掌业务经营大权。
