吴巨在广信城中，望见刘贤大军极为严整，又有夷廖、钱博二将，拿着区景的人头在城下耀武扬威。饶是吴巨一向自视兵法武艺出众，但短短时间便经此大败，也禁不住心神大乱。
正犹豫间，忽听身后一人道：“父亲何必忧虑？城中尚有五千兵马，加上城外虞褒的五六千人，我军还有万余兵力，岂能轻易投降？父亲勿忧，我愿领兵出城，与刘贤决一死战。”
吴巨道：“不可，刘贤兵多，你怎可轻出？”
正说之间，忽见城东烟尘滚滚，有一支兵马杀来。却是虞褒、刘彦闻知刘贤尽起大军，有攻城之意，故而领兵前来相助。
吴巨惊道：“不好！虞褒、刘彦轻视敌军，领兵到来，必被刘贤分兵击败。我当出城救应。”
正说之间，果见刘贤军中分出五千兵马，由老将黄忠率领，呐喊着迎向虞褒、刘彦。两军对阵，黄忠一马当先，冲进敌阵之中，正与虞褒相遇，手起一刀，将虞褒连头带肩，劈为两段。
吴巨急忙领兵救援时，又被魏延、裴潜领兵截住。双方在城下混战一场，吴巨好不容易接应了刘彦进城。然而虞褒、刘彦麾下的五六千兵马却也折损过半。吴巨派出的接应人马也折损了近千人。
吴巨将残败兵马勉力守城，又文各县，增调援兵，准备长久坚守。
次日，刘贤再来劝降，吴巨不应。刘贤于是将这些日子制作的回回炮推出，照准城中射石弹。广信城虽是交州大城，但若与中原雄城相比，却又显得狭小了。不过两日，便将城墙击打的残破无比。
吴巨见野战打不过刘贤，城池又被回回炮打坏，无奈之下，只得出城投降。
刘贤大喜，当即收了吴巨印信，并行文各县，令其归附。各县闻听吴巨战败，俱各丧胆，纷纷请降，刘贤一一安抚。于是命蒋琬暂代苍梧太守之职，又留高翔辅助蒋琬，领降兵五千，保守苍梧郡。随后刘贤便欲领兵继续顺江南下，去攻打南海郡。
夷廖、钱博二人前来表功。刘贤笑道：“我如今只有苍梧一郡，乃是我军进取交州的根据，自然不可能封给你们。所能封的，只有郁林郡。只是一郡之地却不可能有两个太守。我欲将郁林一分为二，令你二人分别统领。若是你们不愿分割此郡，今夜便可自行商量，看谁先做太守。待日后我拿下了其他郡县，再别封另一个，如何？”
夷廖、钱博闻言，诺诺而退。当夜三更时分，二人营寨果然起火，喊杀声响成一片。刘贤命人前去打探，原来二人都争做郁林太守，各不相让。当夜商谈不拢，不欢而散。二人回营之后，又被左右挑拨，于是干脆调兵遣将，相互袭杀。
次日一早，刘贤领兵围了二人营寨，却见夷廖从残破的营寨之中走出，手提钱博人头，对刘贤拜道：“钱博造反，今已被我斩杀，郁林一郡，实该归我。”
刘贤冷笑道：“你为了做太守，竟敢诬陷钱博，领兵内斗！此乃死罪，我岂能饶你！”当即喝令众将前往捉拿夷廖。
黄忠、魏延领命，纵马而出，魏延手起一刀，将夷廖砍翻在地。黄忠领兵冲进营寨，逼降了寨中兵马。
一番清点，夷廖、钱博原有五六千人，经过一夜乱战，如今却只得三千余人了。
刘贤于是任命廖立为郁林太守，领着这三千降兵，前往收服郁林郡。又分郁林南部的领方、安广、增食、临尘四县之地，分设郁林郡南部都尉，由裴潜领本部兵马前往主持防务，整修通往交趾郡的便道关隘，防备士燮。
二人领命前去，刘贤这才转而领兵，欲要顺西江而下，直取南海。忽闻探子来报：“南海太守士武，趁着我军攻打吴巨之机，尽起麾下六千兵马溯江而上。目前已拿下高要县城。”
刘贤闻言，与庞统对视一眼，笑道：“士武果然中计。”
当下刘贤与庞统一道，率领黄忠、魏延、郝昭、赖恭、行军主薄赵累、参军刘敏，以及降将吴巨、刘彦等人，领兵万余顺江而下，来到高要县城之外。
黄忠、魏延便欲攻城，刘贤止住道：“不须攻城，只要在等几日，士武自然不战而亡。”
黄忠、魏延不信，却又不敢反驳刘贤，只得按耐性子等候。
两军在高要城相持了七八日，士武果然弃城向南逃走，刘贤大喜，当即命黄忠、魏延分路追杀。二将领兵穷追不舍，直到进入合浦郡境内，遇到合浦太守士壹领兵阻击，黄忠、魏延这才收了兵马，与士壹各占对山险要相持。
而士武率领的六千兵马，此时只剩下二千余人，与士壹合兵一处之后，也只得七千人马，倒是和黄忠、魏延的兵力相等。
此时的刘贤，早已取了高要，随后顺江而下，直达番禺。
番禺城中守军望见刘贤到来，当即大开城门，从城中走出两员将领，却是吴砀、曾夏二人。
原来从北方过五岭而至岭南，共有五条道路，都十分艰险，当年秦始皇南征百越，汉武帝攻取南越，都是五路齐。其一是从豫章翻越群山，经厉门塞南下，至南海郡的龙川。这条路十分艰险，并不适合大军通行，近百年来更是基本废弃，鸟兽难通。其余四条则都要经过荆州，经过多年兴废，目前还在使用的仅有两条。其一是刘贤走的灵渠古道，最为便捷。其二是从桂阳郡南下，入连江，经过桂阳郡境内的煌溪关、阳山关，进入交州境内的横浦关，一共三道关卡，然后才能进入珠江水系的北江，进而直抵南海。
因三关道路艰险，河滩纵横，水文条件十分复杂，因此也不适合进兵。
在讨论进兵方略的时候，原本刘贤、庞统都属意灵渠，不愿从横浦关进兵。然而樊友却来告知，桂阳郡樊家与交州有生意往来，樊家每年都会派出商队过横浦关南下至交州购买珍珠、玳瑁、珊瑚、犀角、象牙等珍贵之物，然后转卖至荆襄之地，获利极为丰厚。又有吴砀、曾夏二人本是南海郡人，当年进入荆州之时，也曾走过横浦关。因此刘贤与庞统商议之后，这才派吴砀、曾夏领兵进入桂阳，在樊家商队的带领下，一路南下偷袭横浦关，继而顺北江而下，直取番禺。
刘贤又大张旗鼓攻打吴巨，逼得吴巨将驻守边境的虞褒、刘彦调回，士武见有机可乘，当即趁虚起兵来夺苍梧土地，致使番禺空虚，被吴砀、曾夏一举拿下。
士武后路被断，只得南下逃亡合浦，南海一郡，至此落入刘贤手中。
当日刘贤进城，重赏吴砀、曾夏，命二人分兵去取各县。不数日，各县相继平定。于是刘贤封赵累为南海太守，留吴砀协助赵累。
为了防备东吴从豫章和会稽翻山越岭而来争夺交州，刘贤又任命曾夏为龙川都尉，主管龙川、揭阳两县，堵塞厉门塞及沿途隘口，防备豫章之兵和会稽之兵。
当然，这两条路都十分艰险，江东大军也基本不可能从这两个方向攻击而来。但刘贤却觉得做些准备，有备无患才能万无一失。
南海郡至此平定。刘贤闻知黄忠、魏延攻打合浦，被士壹、士武堵截在群山之中，难以前进，当下便与庞统一道，领着校尉郝昭、参军刘敏以及赖恭、吴巨、刘彦等人前往增援黄忠、魏延。