1053年正月初，狄青与余靖、孙沔所率宋军会合。在此之前，宋军中不听号令，轻敌冒进、贪功轻进的事情屡有发生。蒋偕、张忠等将领因为轻敌而兵败身死，广西铃辖陈曙意欲在狄青到来之时抢头功，擅自带八千步兵向侬智高发起进攻，结果在昆仑关被打得大败，部下殿直袁用等人临阵脱逃，影响很坏。为了严肃军纪，狄青下令对不听将令的陈曙等30多位当事人当场处斩，宋军上下无不震动，连余靖、孙沔也都相顾失色。
狄青分析地势和军情后认为，若要拿下侬智高据守的邕州，必取通道要地昆仑关。但昆仑关地势险要，易守难攻。狄青以筹备军粮为由，高调宣称部队休整十天。侬智高打了一些胜仗，不自觉地就有些飘飘然。他认为既然宋军粮草不济，肯定不会马上发动进攻，精神上有所放松。狄青对外放风部队休整，第二天凌晨却紧急下令部队进发，以迅雷不及掩耳之势直抵昆仑关。当天晚上狂风大作，天降大雨，狄青换上普通将士的军装，率领突击队冒雨进攻，侬智高还没回过神来，宋军犹如神兵天降已越昆仑关。
为挽回败局，侬智高急派骁勇兵将手持长枪阻挡宋军。狄青则让步兵居前，2000骑兵藏在阵后，以待敌变。侬智高凭借先前对宋军交锋的经验，以为不用费多大力气就能获胜。两军在归仁铺一带发生激烈交锋，侬智高军十分强悍，宋军前锋孙节英勇牺牲，孙沔等人大惊失色。狄青毫不畏惧，他登上高处手挥令旗，指挥骑兵从左右两翼杀出，将敌军分割成三段。敌军阵脚大乱，宋军追击50里，斩首五千余级，侬智高放火烧城，化装逃往大理。
狄青率兵巧取天险昆仑关，大败侬智高于归仁铺，一举平定了广南战乱，消息传回京师，宋仁宗大喜过望，对当朝宰相庞籍说，赶快商议封赏，慢了就不足以激励了。狄青还师回朝之时，宋仁宗亲自相迎，赏赐狄青一座豪宅，又拜狄青为枢密使，他由此成为北宋王朝的最高军事长官。这在宋朝更是破例，枢密使一向只由文官担任，武将当政有违祖宗惯例。防范武将夺权是宋朝的基本国策，宋仁宗的这一决定引起了朝中大臣的极大争议，也为日后狄青的失势埋下祸根。
侬智高平定之后，宋廷对有功之臣一一封赏，杨文广又回到了他曾经战斗过的西部，知渭州之德顺军，也就是渭州陇竿城。德顺军设于庆历三年（1043年），这里土地肥沃，人口众多，且地理位置非常重要，西夏早有窥探之心。杨文广赴任不久，广西报告侬智高与大理国王又准备发兵。1054年6月，仁宗因为杨文广熟知广西情势，具备领兵才干，超升四级，提拔为供备库使，出任广西钤辖，兼判宜、邕两州，以防侬智高。广西钤辖是广南西路兵马钤辖的简称，负责广南西路驻军的训练教阅和赏罚。杨文广受此重任，自是尽心尽力，镇守广西十余年间，侬智高与大理国都不敢轻举妄动，侬智高最终死于大理国境内，边塞未发生大的战事，但杨文广的前途似乎并不明朗。
从历史上看，狄青不仅没有迫害杨家，反而有恩于杨文广，若不是他带杨文广南征，杨文广可能仍然埋没在军中。通观两宋，除北宋开国诸将外，能够称得上名将的，北宋首推狄青，南宋首推岳飞，但俩人都含冤致死。如果说岳飞的罪名是“莫须有”的话，狄青之死比“莫须有”还冤。狄青没有害人，相反却屡次被害。打压他最为厉害的不是奸人，反而是名垂青史的欧阳修、文彦博、韩琦这些人。好不容易出了一个能打胜仗的狄青，却被文人多方弹压，单单从这一点看就可以明白，宋朝为何积贫积弱军力不强。