在关东大地震继续发酵的时候，23年9月，关余问题突出化了。

所谓“关余”问题：即关税余额的交收问题。中国海关的收入一向是在英人总税务司的直接控制之下，每月的海关收入必须先扣除用以支付对外赔款如庚子赔款及外债的部分，剩下的称为“关余”由税务司交付中国政府。

杨兴当即与人一起研究中国海关被英国人控制的历史。

1854年夏，英领事阿礼国提出一个中外合组海关的方案，两江总督怡良派苏淞太道吴健彰于6月29日和英、美、法三国驻沪领事会晤,规定:三国领事各提名一人，由中国任命为税务监督,与中国共同管理江海关的征税事宜。

1858年清政府与英、美、法签订的《通商章程善后条款》对这一办法作了修改：“任凭总理大臣邀请英（美）人帮办税务，毋庸英官指荐干预”，并“各口划一办理”。1859年江海关英籍税务监督李泰国(1832～1898)被委派为总税务司，负责募用外国人在各口岸任税务司，从此，外籍税务司管理中国海关便成为制度了。1861年起,广州副税务司英人赫德任总税务司（初为代理）,一直管理中国海关近半个世纪。

1901年《辛丑条约》签订后，通商口岸50里内的常关改归海关管理，总税务司署的征税权力又扩大了。海关事务主要为征税和船钞两大部门。征税分内班（处理商人报关、征税）、外班（查验过关商货）、海班（巡水缉私）。

1910年有19169人；1911年邮政脱离后，降至7230人；以后大体在八九千人之间。其中洋员约占1/6，国籍最多时达20余国,而以英人占绝对多数。海关要职都由洋员担任，华员仅任中下级职位；华洋关员生活待遇悬殊，形成洋员统治华员局面。

更让人感觉气氛的是，1917年孙文在广州建立护法政府时，曾于1919年分得一部分关余约占3.7％。这份关余按月交付护法政府，但到1920年3月因护法政府内部分裂而暂停交付。

杨兴决定发动收回海关管理权的群众性运动，当时在杨兴指示下，国民政府主要报纸纷纷报道英人无端窃据我海关关防，导致国外廉价物品潮水般向中国涌入，导致很多中国优秀的民族企业破产，因此建议政府收回海关管理权。

在学生游行抗议，商人纷纷拒买进口英国产品抗议之后，在杨兴鼓噪下，广州海关成立工会之后，1923年9月5号，杨兴召见百利安等人，宣布道：“海关原本是中国主权象征，广州海关应该属于国民政府内部事务，英国人代管中国海关，本来于法不合。再加上现在广州海关关长竟然自作主张，擅自截断自1920年以后广州海关关余。现在应中国人民要求，应广州海关中国工会要求，决定自即日起，免去查理斯等26名敌视中国人民的英方雇员，国民政府将任命相应的华人接管其业务，从即日起，国民政府将正式收回海关管理权。即于庚子赔款，广州海关将每年通过银行汇到各国政府指定的账户上。”

百利安一听，大惊失色道：“海关由英人管理，这是定例，国民政府作为地方政府，怎么能够说打破就打破，海关被国民政府正式接收后，如此怎能保证庚子赔款？”

杨兴笑道：“百利安先生，大家都知道，现在海关收入远远超过庚子赔款数额，国民政府将视各国对中国海关管理权收回运动的支持，作为付款的优先顺序。”

说完之后，杨兴当即离开，将百利安孤零零的抛在大元帅府。

第二天，国民政府控制的报纸发布杨兴的谈话，表示海关一直被英人控制乃非法行为，也没有相关法律条文支持，现在国民政府建立起来了，完全有能力管理自己的关防，也完全可以保障对各国的庚子赔款，因此应各界商人的要求，应广州海关工会要求，正式收回广州海关关权，自即日起洋人关长、各部部长被正式解聘。

在报纸公布后，杨兴举行中外记者招待会，发表相应谈话后，在记者自由提问时间中，一个名叫莫里斯的美国记者问道：“杨司令，请问你无视相关条约，收回海关管理权，难道不怕英国人报复吗？”

杨兴笑道：“莫里斯先生，这就是你的不对了。中国海关由英国人掌控，这只是习惯性做法，是腐败无能卖国的清王朝对外卖国，对内镇压的一种体现，在中华民国建立10余年时间里，理应废除这种于法于理完全不符的政策，将海关收归国有。况且，在大英帝国帮助下，经过50年发展，中国海关已经建立起完善的制度，已经培养大量优秀人才，因此，现在是英国人退出中国海关管理角色的时候了。”

一位英国女记者安娜站起来问道：“杨司令，正如你刚才所说，是英国人帮助中国建立起完善的海关制度，但现在就是你这样报答英国人的吗？中国人常说感恩图报，难道这就是你的感恩图报吗？”

人群中出现阵阵笑声，杨兴笑道：“这位记者朋友，非常感谢你记得感恩图报这句中国谚语，但是你知道吗，你们英国人如何管控我们海关的吗？这些洋务关员，只是照搬其他国家关务制度，强制要求我们华人执行，经过数十年摸索，是中国人根据国情，在广州海关，中国海关，已经建立起完善的关防制度。”

“感恩图报，让我们来看看这些洋务关长李泰国，勾结地方政府，从而导致中国关防逐渐落入英人之手。第二次鸦片战争时，李泰国向英侵华军提供漕粮北运的情报，对攻打京师，制定作战方案作用甚大。

赫德任总税务司长达50年之久，虽然清除了旧式衙门中普遍存在的腐败现象，但是其长期霸占该职位，干涉中国内政，坏事也干了一箩筐。