第二年（531）二月，高欢抵达信都，高乾、高隆之开门接待，高欢率众进据冀州（今河北冀县）后，他开始积极笼络当地世族地主，利用民族隔阂，煽动反尔朱氏家族情绪，收买人心，一时人声鼎沸，势力陡增。
高欢行军途中，严肃军纪，秋毫无犯，每次路过麦田农地，自己都会下马拉住缰绳，不让马匹踩坏农作物，其他军兵将领见到后都仿效高欢的行为，自觉爱护田地上的农作物，受到当地人民的拥戴。
与此同时，洛阳都城的尔朱度律废了元晔而改立元恭是为节闵帝。为了控制高欢，他想出一个办法，就是授予高欢高官厚禄，诱使他返回洛阳受封，到时候就可以限制高欢的人身自由。
于是在当年三月，他请求节闵帝封高欢为渤海王，征召回来觐见受封，高欢接旨后托词拒受。四月，节闵帝又下旨加授高欢为东道大行台（即大将军）、第一镇人酋长。但高欢仍然不回去受封，继续驻守在信都。
（531年）六月高欢在信都起兵宣誓讨伐尔朱氏，声言为被尔朱兆缢杀的孝明帝元子攸报仇，正式公开背叛尔朱氏家族。
为了名正言顺，高欢拥立北魏宗室、渤海太守元朗为帝，北魏皇帝元朗任命高欢为侍中、丞相、都督中外诸军事、大行台。
高欢为了让属下军人无路可退，和他一道起兵反对尔朱兆，他派手下人伪造尔朱兆的军令，下令高欢所率六镇降兵全部要回山西，作为契胡军人的部曲去攻打稽胡部落。
高欢假装军命严急，从军中挑选万余兵士，马上催促出发。部将孙滕和尉景也假装为士兵请命，宽缓五日。
士兵们看到此种情形又忧又惧，高欢接着又假意再宽缓五日行期。高欢作为统帅，与这支万余人的先遣军举行告别仪式，怂恿部下起兵反对尔朱氏，他站在将军台上，高声对下面的将士说：“尔朱荣是早有谋权篡位之心，一直逼迫孝明帝就范，故孝明帝击杀他是合情合理的事情，尔朱兆根本就不配提报仇二字，诸位忠于朝廷，理应诛灭尔朱氏族，为元氏皇朝效命。”
高欢的一番话成功地激起众将士的忠君爱国之心，他们誓言消灭奸贼一党尔朱氏家族，为元氏皇室报仇雪恨。
高欢于是带领着这一万多的六镇降兵流民军队对外宣称去山西，实质是前往信都。
尔朱兆收到了高欢公开背叛自己的消息后，十分震怒，誓言要灭了高欢。
他探听到高欢只率了少量兵马在冀州屯兵，便派出数路军队准备围攻高欢。尔朱氏诸将分路围攻高欢包括尔朱仲远，尔朱度律与骠骑大将军斛斯椿，车骑大将军贺拔胜和贾显智等军队于阳平（今山东莘县）集结。
尔朱兆则亲自领兵出井陉关进至广阿（今河北隆尧东），号称十万大军。高欢初次与尔朱氏交锋，面对尔朱氏大军压境，他施以反间计，散布流言，使尔朱氏诸将互相猜疑，徘徊不进。
徐州刺史尔朱仲远和尔朱度律因为听信流言与尔朱兆不和，遂引兵南走。高欢乘机进攻广阿，大败尔朱兆的军队，俘虏其部众5000余人；
十一月，高欢率军乘胜进攻邺城（今临漳西南）。相州刺史刘诞关闭邺城城门固守。双方僵持了一个月后，高欢想到了攻城的妙计。
532年正月，高欢指挥军兵开挖地道，以木柱支撑，一直掘至邺城的地下，然后焚烧木柱令邺城地陷，高欢的大军在地陷处一涌而上，攻克邺城，生擒了刘诞。
到了这个时候，尔朱氏诸将才明白是中了高欢的离间计，于是诸将重归于好，共同对付高欢。
同年三月，高欢迎接北魏皇帝元朗率领百官进入邺城。高欢因为攻城有功，被元朗封为大丞相、柱国大将军、太师。
这年的闰三月，尔朱天光自长安（今西安西北）、尔朱兆自晋阳、尔朱度律自洛阳（今河南洛阳东北）、尔朱仲远自东郡（今滑县）等地出发，会师邺城南方，号称二十万雄师，布阵于洹水（今安阳河）两岸，准备攻打邺城。
高欢派高隆之坚守邺城；自己则亲自领兵屯于邺城西北的紫陌；大都督高敖曹领乡里部曲3000人跟从高欢。二十六日，尔朱兆率轻骑3000趁着夜色天黑攻打邺城西门，数次冲击城门无果后退了回去。
其时，屯兵在紫陌的高欢战马不满两千，兵力不过三万，在敌众我寡的情势之下，高欢下令用牛驴连系在一起堵塞自家军队的退路，在韩陵一带摆成圆阵，士兵们见没有了退路，都抱着必死之心去应战。
高欢亲自带领中军在前方突击，大将高敖曹率领三千军兵在左边协从，高欢堂弟高岳率领右军从旁跟随。
高欢的中军迎战不利，被逼后退，尔朱兆就带兵直扑高欢的中军而来。高岳率五百骑兵突袭前方迎战敌兵，高欢另外一个部将斛律敦收拾败退四散的兵士后，重整旗鼓从尔朱兆后面又扑了上去，大将高敖曹亲自率一千多骑兵横击而入阵中，如此前中后左右攻打尔朱兆的大军，在高欢的五路军兵的冲击下，尔朱兆军队大败。
高欢以逸待劳，以少胜多，以不足三万兵力重创尔朱兆等人的二十万大军，尔朱家族的人在兵败后四散逃跑，高欢乘胜追击，直逼北魏的首都洛阳城。
高欢带领着刚刚打了大胜仗的军队对尔朱兆的军队穷追猛打，一直去到洛阳城下。尔朱家族大军退守洛阳城。
高欢下令围攻洛阳，准备彻底消灭尔朱家族。原属节闵帝臣下的一名大都督斛斯椿本来就是个首鼠两端的人，他见尔朱家族大势已去，便想着向高欢投降以求活命，于是便带人抢先一步回到洛阳，杀尽留守的尔朱氏党羽，打开城门投降。
尔朱兆见势不妙，带领着残兵败将逃回晋阳城垂死挣扎。高欢自此进驻洛阳，并将尔朱兆尊立的节闵帝元恭废黜幽禁。