安徽斧头帮的崛起影响到了青帮的地位，两派时时相争，处处相争。此时便渐渐地显出王亚樵在帮派管理能力上的不足之处，尽管斧头帮能打能拼，可是处处受到青帮的压制。而斧头帮坐大之时，内部也有了利益纷争。王亚樵看到原本齐心协力的兄弟们忽然为了眼前利益相互争夺内心痛苦异常，而此时有人提议重新选出斧头帮老大，众人相应。很明显有人想要篡权，王亚樵原本以为兄弟们会继续支持，没想到超过半数的人选择了别人。..
其实这些人不选王亚樵也是有充分理由，王亚樵适合做一个打手或者杀手却不适合做一个统帅。他事事争先，事事亲力而为也常常不懂装懂，搞砸了许多事情。尤其是在与青帮相争的时候，有些事情并非青帮帮徒之错，而是安徽一部分别有心思的人惹了事，可是王亚樵却是帮亲不帮理，只要是安徽人求到了他，他肯定帮忙。这导致了斧头帮在上海的声誉越来越差，让一些原本老老实实生活的安徽人也在上海遭到排斥。帮中诸人知道再长此以往下去，安徽人在上海必定如过街老鼠时时挨打事事挨骂了，于是他们决定重新选择一个更加合适的人，做龙头大哥。
被兄弟抛弃一事，让自信满满的王亚樵心灰意冷，他只是做了一个斧头帮长老，不再理会帮中俗事。
随后青帮对斧头帮展开了激烈报复，尤其是当卢永祥战败之后。大批浙军逃兵被青帮龙头黄金荣的手下张啸林收买。张啸林意图在上海滩大展拳脚，因此他对于惹怒黄金荣的王亚樵视若眼中钉肉中刺，率领三百名浙军败兵乔装的青帮分子突袭斧头帮。导致斧头帮几乎一夜之间灰飞烟灭，而王亚樵本人也逃回到了安徽。..
而彼时安徽已经光复，对王亚樵的通缉令已经撤销。王亚樵在合肥老家蛰伏数月，准备再一次带着一群乡党准备杀回上海，正在此时雷宇又找到了他。
因雷宇和王亚樵打过交道算是朋友，而且雷宇对王亚樵说通缉令还是他去申请撤销的，王亚樵对此大为感激。雷宇又说。为何张啸林如此逞强，还不是因为他背后站着黄金荣，为何黄金荣称霸上海滩。因他身后站着外国人。英法美ri等外国列强是穿一条裤子的，杀也杀不尽那些小蟑螂，只有把母蟑螂赶尽杀绝，才能彻底消灭蟑螂。
王亚樵说。雷先生有话直说。咱读过几年书，讲话也不用拐弯抹角。雷宇笑说，你之所以要亡命天涯是因为你就是一个人，充其量身后站着一群赤脚弟兄，可是你的弟兄们也有父有母有家有业，跟着你若是慷慨为国赴死，就算是死了也世代受人祭奠。可是你现在只是重江湖义气，你的兄弟们死了不过一捧黄土而已。去年安徽斧头帮何等强大，可是转眼间灰飞烟灭。再看看你给斧头帮兄弟们的家人带来了什么。尸骨无存，抛尸黄浦江，家家戴孝，子女服丧，你这不是为兄弟们好，这是害了兄弟们。
王亚樵其实从上海逃回合肥的时候就反思自己的过错，只是他名气甚大，没有人敢当面骂他，倒是被雷宇一骂让他清醒了许多。回到安徽之后他曾想过投靠国民党，不过国民党被国防军收买了，只能投靠国防军，可是他和国防军又没有多大交情，他也抹不开主动拉着脸去投靠。现在雷宇主动拉拢，而且他又对自己有恩，如此盛情相邀，义气的王亚樵怎能拒绝，于是答应接受国防军的邀请。