1841年,清政府和英國簽訂《廣州和約》,其中要求清政府需提供600萬元的賠款,而伍秉鑒一個人就給出了110萬元。
在不久以後簽訂的《南京條約》里,伍秉鑒再次上交了100萬元的賠款,面對清政府無休無止的索取和國內外糟糕的政治社會環境,伍秉鑒的生意,也一落千丈。
1843年,74歲的伍秉鑒,在鬱鬱寡歡中因病去世,他死之後,伍家也走上了沒落之路。