在应对官府方面，由于从政府手中获得垄断贸易特权，自然就得承担政府要求办理的事项，诸如代办外商出入口货税、转递官方与外商之间的文书等。此外，就清朝的这种体制，还须以捐输、报效、贿赂等方式，将利润的一部分“孝敬”皇帝和中央及地方各级官员。对此，谨慎而精明的伍秉鉴处理得比较妥当。不仅如此，他积极鼓励家族成员参加科举步入仕途，或通过捐纳以获取官职和虚衔，作为经商的“护身符”。
在应付外商方面，十三行既是私人商贸组织，又要代表官方管理对外贸易相关事宜；伍秉鉴既要面对贪腐而盲目排外的一些中央及地方官员，又要应付骄横跋扈、狡猾傲慢的外商。但伍秉鉴对此多数时候都显得游刃有余。伍秉鉴与东印度公司和美国旗昌洋行等建立了紧密联系。怡和行一度是东印度公司的最大债权人，如1813年东印度公司欠怡和行款项达54万两；与改组旗昌洋行的顾盛（J.P.Cushing）建立了良好的私人关系，旗昌的另一大股东、日后美国铁路大亨约翰?福士（J.M.Forbes）还曾担任其“机密代理人”和“私人秘书”。
然而，当林则徐的禁烟运动与鸦片战争发生、国与国之间无可调和的矛盾激烈爆发时，伍秉鉴已经无力回天。1842年12月23日，伍秉鉴伤感地写信给在美国马萨诸塞州的顾盛说，若不是年纪太大，经不起漂洋过海的折腾，他实在十分想移居美国。鸦片战争结束后，伍绍荣曾被召前往南京参与战后谈判，但在赶赴南京的途中，条约已经签订。
根据《南京条约》，清政府开放广州、厦门、福州、宁波、上海五口对外通商，十三行的外贸特权不复存在。与此同时，英国驻各通商口岸的领事官员与各地方官员公文往来直接交往。清政府被英国要求巨额赔偿，一部分也被转嫁于十三行，怡和行承担了其中的100万两。
1843年9月，当74岁的伍秉鉴在内忧外患中黯然病逝时，《南京条约》已经正式批准，香港已经割让给了英国，渣甸?马地臣行在香港东角的房屋也早已修建。
禁烟运动与鸦片战争已经让十三行行商尤其是怡和行遭到重大打击，而战后签订的《南京条约》及相关条款，更导致十三行进一步衰落。就在曾经辉煌一时、有“天子南库”之称的十三行逐渐走向消亡，身为世界首富的伍氏怡和洋行走向没落之时，英资怡和洋行开始崛起。
两个“怡和洋行”的衰亡与崛起，是两个国家战争胜败的体现，更是两种制度较量得出的结果。
