政府官员不了解外部世界，盲目排外，官府的敲诈，外商的欺凌，行商处境之艰难，可谓前有猛虎，后有深渊，让人望而却步。所以说，要在复杂环境中妥善处理和利用官府、外商、其他行商之间的各种矛盾并不是件容易的事，处于中间位置的行商虽然都尽力维持好外商和政府之间的关系，但不管他们怎么努力，其结果仍然是风箱中的老鼠，两头受气。
到了19世纪，充当行商已不是什么大把钱财唾手可得的美差了，在外商主要是内官的压榨下，行商纷纷陷于困境，大多数辗转于破产的边缘，苦不堪言的行商无不渴望挣脱这个牢笼，甚至有行商说，只有亡命徒才肯做洋商。
十三行中最早的首领同文行老板潘正亨曾露骨地表示：宁为一条狗，不为洋商之首！十三行真成了一座围城，外面的人想进去，但里面的人又想出来。这种失意和落寞，煎熬与无奈，从禁烟运动、鸦片战争那时开始，就一直伴随着他们，直到他们走完自己的生命历程。
萌生移民美国的念头
抑郁萧条的广州城内，风烛残年的伍秉鉴静静地半躺在庭院的椅子上，此刻的他已经心灰意冷，无暇顾及自己的海外生意。尽管头脑灵活的他曾经在复杂的贸易环境中妥善处理并利用了其他行商、官府和外商之间的各种矛盾，但最终还是因为鸦片贸易和鸦片战争栽了个大跟头，伍家的事业在英国人的炮火下惨淡经营，开始走向衰落。
据伍家人自己估算，鸦片战争给自己家族至少造成200万两白银的巨额损失。虽然这笔损失对于他所拥有的2600万银两的资产来说，只不过是九牛之一毛，也不至于让伍家元气大伤，但是，此时的伍秉鉴已经黯然神伤、力不从心，并萌生出了移居美国的想法。
这一点从他给几位国外朋友所写的信件可以很清楚地感受到他当时流露出的怆然难禁之情。1842年12月23日，他在信中对一位美国朋友罗伯特·福布斯（Robert Forbes）说：“如果我现在是青年，我将认真地考虑乘船往美国，在你附近的某处定居。”
也是在这一天，他在写给美国的另一位朋友库欣（JPCushing）的信中也表达了相似的打算，他说，如果不是自己这把老骨头经不起漂洋过海的折腾，他实在十分想移居美国。
透过“认真”和“实在”两词，我们可以猜测当时的伍秉鉴对未来已经感到非常失望，急于想逃离大清王朝这片苦海。
为什么晚年的伍秉鉴不想着安安稳稳地呆在大清国，却想要漂洋过海、移居他国呢？要知道当时的美国可不像现在这样富裕发达，被看做是富人的天堂。1842年的美国资本主义工业尚不发达，许多地方尚未得到开发，满地都是一片荒凉的景象，在当时的中国人看来，根本不是值得移居的理想之地，只有那些为了谋生或逃避政府追杀的罪犯才会迫不得已选其为避难所。况且，当时移民也不像现在这样是件多么荣耀的事，可以盼着衣锦还乡、荣归故里，而是相当于开始流离失所的漂泊生活，把尸骨埋在他乡，这显然与我国传统观念中信奉的落叶归根的思想相背离。
如果从社会这一更深的层面来分析伍秉鉴移居国外的想法，与其说这是他对自己人生的失望，对洋行未来的失望，倒不如说是对整个中国社会制度的失望。
我们知道，在中国封建社会商人可能是最富有的，但却是最没有社会地位的群体，按照“士、农、工、商”的排序，做生意的是最低贱的，清代的中国也有轻视商业的社会风气。
虽然清朝时期的行商在取得巨额财富后可以花巨资为自己捐买顶戴，知名的行商通常都能捐来三品以上的蓝顶，哪怕是扬州的大盐商，捐班可以捐到道台，但一遇见科举出身的，还得变得服服帖帖，唯命是从。
十三行行商比盐商也强不到哪儿去，他们自己心里比谁都清楚他们手中不能掌握任何权力，他们的前途命运并不能完全靠自己把握，这些顶戴名不副实，关键时刻也起不了多大的作用，照样会受到官方的任意盘剥，这是十三行行商纷纷破产的重要社会制度原因。
乾隆时期查贪极严，却贪风尤甚，举国简直无官不贪，行商手中掌握的财富连政府都眼红，在皇帝和百官看来，行商是一块肥肉，可以通过无休止的摊派和敲诈勒索随意盘剥。每当国家发生灾难、战事或者皇帝和权贵们想搞个红白喜事，或者地方官员要向上级讨个好，十三行的商人们就必须“主动报效”或“捐输”。伍氏曾被比喻成“一只容易被剥光的肥鹅”或“肥羊”，受尽了官方的盘剥，而且在惩罚的时候任由官方的性情罚，有时罚10倍，有时罚100倍。
中国自古就有“滴水之恩当涌泉相报”的传统观念，行商们的富有很大程度上来源于清政府对外贸易的垄断政策，十三行的商人富甲天下，尽尽“孝”按说也是应该的，但是无休止的摊派和沉重的募捐确实让他们苦不堪言。
最让他们苦不堪言的是当时清政府实行的“保商制度”给他们带来的压力。此制度规定，一旦外商被发现有拖欠税款等违反规定的行为，为其负有担保责任的行商就要受50倍甚至100倍货税的罚款。例如，当时清政府禁止鸦片进口，1817年，一艘由怡和行担保的美国商船私运鸦片被官府查获，不惩罚洋商，却要怡和行交出16万两罚银。
由此可见，行商只不过是政府压榨敛财的对象而已，其生命和财产安全根本没有保障可言，稍不遂意，就可能会大祸立至。行商们叫苦不迭，无不渴望挣脱这个牢笼。
但是前面已经提到行商资格的进退并不是行商自身可以随便选择的，进的时候，只要有丰厚的家底儿，出点银两很容易进来，但是要想再退，就不是“有钱能使鬼推磨”那么简单了。
伍秉鉴曾多次表示想要退休的强烈意愿，并且也积极着手与官方及东印度公司磋商退出洋行业务的种种安排，官方的交涉表面上看起来旷时费日，困难重重。身不由己的伍秉鉴甚至眼中流下两行老泪，说道：“我也曾绝望地甘愿捐出十之七、八的家产充公，但求怡和行歇业关门，风烛残年好图个安享十之二、三的余财，与世无争，结果遭到训饬，言之心灰意冷。”
因为在清廷看来，伍家作为如此富有的家族之一，即便是衰落了，官府坚信破船也有三斤钉，这么一个辉煌的家族绝对不可能什么也剩不下，一个名声都这么有威力，官府相信没有道理伍家就这么消失得干干净净，更何况皇帝老儿最多抄了伍家在中国地盘上的财产，而伍家在海外的资产究竟有多少？
清廷不会轻易放过这块肥肉，想从伍家得到更多的油水，清廷恨不得将其榨得一干二净、被逼得破了产才死心，可惜，那时候并没有万能查询机，无法准确得知伍家在中国和其他西方国家还有多少银两，只能让怡和行干耗着等死。
当时已是古稀之年的伍秉鉴早已悟透了世局：“风光无限的天子南库背靠官府，面向夷商的这份夹板气，我们快要挨到尽头了。天朝的死脉就在抑制贸易，只将广州单口通商当做怀柔外夷之术，驯则长通，反则立断，一厢情愿地抱守以商制夷为灵丹妙药，此术已经不管用。”
想想，伍秉鉴的富有程度可称得上富可敌国，荔枝湾“海山仙馆”的排场也足以把一窥堂奥的洋人唬得半死，可又有哪一个广州行商能保得住手中的财产呢？他的内心是寂寥的、彷徨的、忧患的。自己本人无法左右自家的发展，也无法改变社会现实，那么剩下的唯一出路就是远走他国这一消极避世的途径了。
繁华散尽，走向没落
晚年的伍秉鉴经常躺在一张虎斑藤凉榻上，瘦长的脸上褐斑点点，眉如秋絮稀疏，尖细的下巴留着一撮霜白的山羊胡，发辫松散在后肩，一付枯鱼衰鹤之相，在内外的挤压中常感到身心疲惫，于是，在道光六年（1826年）他将怡和行的业务和总商头衔交给他的第四个儿子伍元华接管，自己则告退园中，深居简出。
伍元华（1800-1833年），字良仪，号春岚，以受昌为商名，好文艺，粤省书画名家谢兰生观生兄弟、张如芝、罗文俊等皆其座上客，在广州河南筑别墅万松园，以“听涛”为名，听涛山馆遂成书画唱酬之所。
他接任怡和行商和十三行公行总商七年，虽为时不长，却是个精明能干、善于经营的人物，将伍家的事业维持在了平稳的发展水平。伍受昌与外商交往密切，曾因在总督、监督面前为东印度公司疏通，获准在公司商馆前建筑码头，为巡抚朱桂桢所恶，下令要处斩他，在海关监督的劝说下，结果不过让他跪了一个小时作罢。
伍受昌虽是伍秉鉴的得力助手，但每逢涉外大事，官府仍找这个现捐着三品顶戴的老行商伍秉鉴到衙门共商齐决，毕竟伍元华资历尚浅，只能象征性地跑跑腿。
1833年（道光十三年），伍元华病逝。伍秉鉴的第五个儿子、年仅23岁的伍崇曜接替其兄伍元华继任怡和行的老板。伍崇曜前文已有所提及，在此详细分析此人物。
伍崇曜（1819-1863年）原名元薇，字紫垣，一字良辅，咸丰间办理畿辅振捐赐举人。捐布政使衔，以绍荣为商名，一般都习称他为伍绍荣，由于在当时的行商当中，有子沿父名的惯例，伍绍荣对外仍称伍浩官。
伍崇曜在投资方面颇具有其父风范。他接手时的怡和行，其10家旧行商已改为茶行，主要经营大宗茶叶贸易，并大量投资美国等地。伍家利用原来与美商的密切关系，曾向美国的铁路建设投下火辣辣的资金，并通过这些方式积敛了大量的财富，成为美商的大股东。直到1930年，美国驻日大使卡梅仑·福士（W Carmeron Forbes）还发现一张伍崇曜委托他祖父福士在美国投资的30万美元的支票。
在做生意方面，伍崇曜手法很简单。当远洋商船靠岸时，他便到码头逛一圈，甚至连详细货单也不看，随便指着那些商船说：这条船我出价若干，那条船我出价若干。金口一开，就算成交了，从来言无二价，也没人敢和他讨价还价。
伍崇曜不仅经管怡和行，而且还是兼办某些对外事务的公行总商，全中国对外贸易商人的最高首脑，也是公行制度取消前的最后一位总商，而且是在英国企图诉诸武力的最困难的时期，所以，遇有外商同官府纠纷事件或民“夷”纠纷事件，都由其出面解决。
1836年，义律被任命为总监督，上任时与总督之间存在矛盾，伍绍荣为此奔走调停，才使义律继续留在广州，暂时缓解了双方之间的矛盾与冲突。
在鸦片战争前的禁烟运动和战争期间，伍崇曜曾被清政府点名作为中方的谈判代表，参与与西方的多次外交谈判，成为中外交涉的重要角色。由于政治与经济的关系从来都是唇齿相依的，当外国侵略者虎视眈眈的瞅着大清国的烂摊子时，清政府需要行商这群与外国人长期做生意的人来帮忙收拾，他们言语的分量甚至超过了无能的清政府，金钱就是他们说话的底气。
道光二十一年（1841年），英舰攻占广州城外炮台，伍家父子在这期间的众多政治活动中充当了主要角色，清朝官员和列强进行谈判，都是带着伍家父子一道前往。
道光二十二年（1842年），在南京条约谈判即将开始前，当时的钦差大臣耆英曾上奏折要求调遣伍家“择其明干能事者”听候差遣，伍崇曜被耆英列为“非品望素着，即通达夷情，足以排解粤省‘民夷不协’的官绅之一”，被抽调前往谈判。清政府与英方达成停战协议，也是由美国领事馆与伍家父子作为中间人进行的。
鸦片战争后，由于十三行的外贸特权被取消，伍崇曜的角色逐渐由封建兼买办性的官商转变为买办商人，更成为广州炙手可热的人物——也是一位颇受争议的人物。
道光二十七年（1847年），英人企图强租广州河南（珠江南岸）、石围塘及新豆栏街口等地，遭到当地民众的强烈反对。1849年春，广州市民反入城斗争达到高潮，伍崇曜曾代表两广总督徐广缙劝说英军暂时放弃入城要求，立下功劳，被两广总督奏请褒奖，说他“向为夷华各商所推重”，广东各商能够齐心“停贸以制夷，实该郎中伍崇曜一人之力”，因此，伍崇曜被道光帝赏赐三品顶戴，得以光宗耀祖，同时也稳固了他在十三行中的领袖地位，怡和行在同行中更是一领风骚。
亦官亦商身份的伍崇曜在对待国内矛盾以及中西矛盾中扮演着多重角色，在官与夷的冲突中，他居中调节矛盾；在官与民、夷与民的冲突中站在官和夷的一方，因而为腐朽的清政府所倚重，为外国侵略分子所赞赏，“积赀至数千万两，复以富甲天下。”
咸丰四年（1854年），广东天地会起义，伍崇曜“以输助军饷及调和中外事宜”有功，又被清政府奖以“布政使衔二品顶戴，赏赐花翎”。
1859年，《天津条约》签订后，英法侵略者又邀请广东官员与伍崇曜等买办一起，商定在沙面建立租界，这也是中国最早出现的租界之一。
此后两三年间，伍崇曜还多次被清政府委派参加与侵略者的议和谈判，曾被清政府授予钦赐举人、候补郎中、候选道，加布政使、荣禄大夫等职衔。
从古至今，政治活动向来是与经济活动联系在一起的。工于心计、多财善贾的伍崇曜在各种政治势力之间灵活周旋，为其经营活动提供了有利的政治土壤。
古代的一般商人做生意有了钱，就要想法巩固自己的社会地位，途径无非有二，一是走学而优则仕的路，二是在文化方面扩大自己的影响，比如，花钱编写刊行各种书籍等。具体到伍家来说，伍秉鉴是个很好的诗人，伍崇曜也好画画，喜诗文，着有《茶村诗话》《粤雅堂诗钞》。
他在刻书方面也很有造诣，梁启超评价说：“其时刻书之风甚盛，……其余则多有欲借此自显，聘名流董其事，乃至贩鸦片起家之伍崇曜，亦有粤雅堂丛书之刻。而其书且以精审闻，他可推矣。夫此类之人，则何与于学问，然固不能谓其于兹学之发达无助力。”
经济上的富有，为素耽风雅的伍崇曜文学艺术上的爱好提供了丰厚的经济基础。为了这一爱好，他不惜挥金如土，在广州城内外大肆营造楼台馆阁。其中建在城外的私人藏书楼“远爱楼”位于白鹅潭附近，极尽豪华奢靡。有诗人赞叹说：远势层楼起，珠江一览中；还有仁信楼，常常被广东大使借用作为会见外国使节的场所；还有建在西关的一处伍崇曜非常偏爱的藏书楼粤雅堂，依山傍水，据说其景观之秀丽，足与另一大富商潘仕成的海山仙馆相媲美。
1863年12月4日（同治二年十月二十四日），伍崇曜在广州病逝，卒年54岁。清政府的说法是“其卒也，省垣官吏及泰西官商成往祭奠，有唏嘘泣伍崇曜下者，其得人心如此”。由于当时贸易制度让商人在夹缝中艰难生存，伍崇曜之死也揭开了伍氏家族财富衰败的序幕，怡和行的生意一落千丈，基本走到了尽头。
