魏大统元年春正月己酉，进太祖督中外诸军事、录尚书事、大行台，改封安定郡王。太祖固让王及录尚书事，魏帝许之，乃改封安定郡公。东魏遣其将司马子如寇潼关，太祖军霸上，子如乃回军自蒲津寇华州，刺史王罴击走之。三月，太祖以戎役屡兴，民吏劳弊，乃命所司斟酌今古，参考变通，可以益国利民便时适治者，为二十四条新制，奏魏帝行之。
二年春三月，东魏袭陷夏州，留其将张琼、许和守之。夏五月，秦州刺史、建中王万俟普拨率所部叛入东魏。太祖勒轻骑追之，至河北千余里，不及而还。
三年春正月，东魏寇龙门，屯军蒲阪，造三道浮桥度河。又遣其将窦泰趣潼关，高敖曹围洛州。太祖出军广阳，召诸将曰：“贼今掎吾三面，又造桥于河，示欲必渡，是欲缀吾军，使窦泰得西入耳。久与相持，其计得行，非良策也。且欢起兵以来，泰每为先驱，其下多锐卒，屡胜而骄。今出其不意，袭之必克。克泰则欢不战而自走矣。”诸将咸曰：“贼在近，舍而远袭，事若蹉跌，悔无及也。”。
太祖曰：“欢前再袭潼关，吾军不过霸上。今者大来，兵未出郊。贼顾谓吾但自守耳，无远斗意。又狃于得志，有轻我之心。乘此击之，何往不克。贼虽造桥，不能径渡。此五日中，吾取窦泰必矣。公等勿疑。”庚戌，太祖率骑六千还长安，声言欲保陇右。辛亥，谒帝而潜出军。癸丑旦，至小关。窦泰卒闻军至，惶惧，依山为阵，未及成列，太祖纵兵击破之，尽俘其众万余人。斩泰，传首长安。高敖曹适陷洛州，执刺史泉企，闻泰之殁，焚辎重弃城走。齐神武亦撤桥而退。企子元礼寻复洛州，斩东魏刺史杜密。太祖还军长安。
六月，遣仪同于谨取杨氏壁。太祖请罢行台，帝复申前命，太祖受录尚书事，余固让，乃止。秋七月，征兵会咸阳。
八月丁丑，太祖率李弼、独孤信、梁御、赵贵、于谨、若干惠、怡峰、刘亮、王德、侯莫陈崇、李远、达奚武等十二将东伐。至潼关，太祖乃誓于师曰：“与尔有众，奉天威，诛暴乱。惟尔士，整尔甲兵，戒尔戎事，无贪财以轻敌，无暴民以作威。用命则有赏，不用命则有戮。尔众士其勉之。”遣于谨居军前，徇地至盘豆。东魏将高叔礼守栅不下，谨急攻之，乃降。获其戍卒一千，送叔礼于长安。戊子，至弘农。东魏将高干、陕州刺史李徽伯拒守。于时连雨，太祖乃命诸军冒雨攻之。庚寅，城溃，斩徽伯，虏其战士八千。高干走度河，令贺拔胜追擒之，并送长安。于是宜阳、邵郡皆来归附。先是河南豪杰多聚兵应东魏，至是各率所部来降。
齐神武惧，率众十万出壶口，趋蒲阪，将自后土济。又遣其将高敖曹以三万人出河南。是岁，关中饥。太祖既平弘农，因馆谷五十余日。时战士不满万人，闻齐神武将度，乃引军入关。齐神武遂度河，逼华州。刺史王罴严守。知不可攻，乃涉洛，军于许原西。太祖据渭南，征诸州兵皆〔未〕会。乃召诸将谓之曰：“高欢越山度河，远来至此，天亡之时也。吾欲击之何如？”诸将咸以众寡不敌，请待欢更西，以观其势。太祖曰：“欢若得至咸阳，人情转骚扰。今及其新至，便可击之。”即造浮桥于渭，令军人赍三日粮，轻骑度渭，辎重自渭南夹渭而西。冬十月壬辰，至沙苑，距齐神武军六十余里。齐神武闻太祖至，引军来会。
癸巳旦，候骑告齐神武军且至。太祖召诸将谋之。李弼曰：“彼众我寡，不可平地置阵。此东十里有渭曲，可先据以待之。”遂进军至渭曲，背水东西为阵。李弼为右拒，赵贵为左拒。命将士皆偃戈于葭芦中，闻鼓声而起。申时，齐神武至，望太祖军少，竞驰而进，不为行列，总萃于左军。兵将交，太祖鸣鼓，士皆奋起。
于谨等六军与之合战，李弼等率铁骑横击之，绝其军为二队，大破之，斩六千余级，临阵降者二万余人。齐神武夜遁，追至河上，复大克获。前后虏其卒七万。
留其甲士二万，余悉纵归。收其辎重兵甲，献俘长安。还军渭南，于是所征诸州兵始至。乃于战所，准当时兵士，人种树一株，以旌武功。进太祖柱国大将军，增邑并前五千户。李弼等十二将亦进爵增邑。并其下将士，赏各有差。
遣左仆射、冯翊王元季海为行台，与开府独孤信率步骑二万向洛阳；洛州刺史李显趋荆州；贺拔胜、李弼渡河围蒲阪。牙门将高子信开门纳胜军，东魏将薛崇礼弃城走，胜等追获之。太祖进军蒲阪，略定汾、绛。于是许和杀张琼以夏州降。初，太祖自弘农入关后，东魏将高敖曹围弘农，闻其军败，退守洛阳。独孤信至新安，敖曹复走度河，信遂入洛阳。东魏颍川长史贺若统与密县人张俭执刺史田迅举城降。荥阳郑荣业、郑伟等攻梁州，擒其刺史鹿永吉；清河人崔彦穆、檀琛攻荥阳，擒其郡守苏定：皆来附。自梁、陈已西，将吏降者相属。
于是东魏将尧雄、赵育、是云宝出颍川，欲复降地。太祖遣仪同宇文贵、梁迁等逆击，大破之。赵育来降。东魏复遣将任祥率河南兵与雄合，仪同怡峰与贵、迁等复击破之。又遣都督韦孝宽取豫州。是云宝杀其东扬州刺史那（桩）〔椿〕，以州来附。四年春三月，太祖率诸将入朝。礼毕，还华州。