跟著混了這么久，李弼算是看明白了，跟著這樣軟蛋的領導太沒勁兒了，打算為自己尋找后路了。但是，畢竟多年的交情，不勸幾句说不過去，于是勸告侯莫陳悅道：“賀拔岳無罪，可是您害死他，又不能安撫收編他的小弟，使他們無所歸依。宇文泰打出報仇的旗號，趁機將他們收編，得到他們的拼命效力。這是很恐怖的，如今應當解除兵權以示歉意，否則肯定沒跑。”

侯莫陳悅現在已經被嚇破膽了，什么主意都沒了。李弼心中嘆息，認定侯莫陳悅已經沒有任何的機會，就對左右親近的小弟说：“宇文泰是一代人杰，為人道德仁義。侯莫陳悅志大才疏，怎么能是對手！我們如果不未雨綢繆，恐怕免不了一起倒霉。”

恰好宇文泰軍隊開到，侯莫陳悅就放棄上邽南逃。這個地方多山，地勢險要，侯莫陳悅找了一個險要之地固守，伺機進行反攻。第二天，李弼偷偷派使者告訴宇文泰，約定宇文軍隊不要前進，許諾背叛侯莫陳悅前來投降。當夜，李弼集合軍隊，说道：“侯莫陳悅想回到秦州，你們為什么還不收拾行裝？”

這樣的挑撥話一出，馬上造成人心驚慌，無法安定，紛紛潰散逃走，爭著往秦州去。到了秦州，發現侯莫陳悅不在，軍隊就更亂了。李弼縱馬趕到秦州，在城門前對他們盡情安撫，許諾保證他們的安全，于是帶領這些人歸順了宇文泰。

聽说自己的城市都丟了，侯莫陳悅僅存的一點血性被激發了，帶著隊伍下山，打算和宇文泰的軍隊決戰。沒想到，他手下的軍隊喪失了士氣，紛紛逃跑，還沒等到戰場，軍隊已經大量減員。

侯莫陳悅生性喜歡猜疑別人，自從手下的小弟紛紛另找出路以后，不敢再相信周圍的人，看著誰都覺得要算計自己。于是，帶著兩個兄弟、兒子以及謀殺賀拔岳的兇手，一共七八個人，扔下了大隊人馬逃了。雖然覺得安全了一些，可是路在何方誰也不知道，在大草原上團團轉。這就被追兵瞄上了，宇文泰的都督賀拔穎率軍追趕。侯莫陳悅望見追上來的騎兵，知道被抓到的下場，于是在荒野之中上吊自殺了。

宇文泰滅了侯莫陳悅，接收其府庫時，發現“財物山積，皆以賞士，毫厘無所取”。

高歡聽说宇文泰平定了秦、隴地區，就派遣使者用甜言蜜語和豐厚的禮品來結交宇文泰，宇文泰沒有接受，而是封好高歡的書信，派軍中都督張軌去獻給孝武帝。

這是明擺著向朝廷表忠心，斛斯椿心里很高興，但他不確定宇文泰的能力，于是問張軌：“高歡的叛逆之心路人皆知。天子能仰仗的，唯有西邊的宇文泰了，不知道宇文泰的才能與賀拔岳相比如何？”

張軌此次來的目的就是讓老板得到朝廷的嘉獎，能夠確立正統地位，就等著機會吹牛，一看要上路了，于是趁機大吹法螺：“宇文公論文足以管理國家，論武能夠平定叛亂。”

斛斯椿欣慰的说道：“果真象你说的那樣，國家幸運，宇文泰真是可以依靠的對象。”

在斛斯椿的極力引薦之下，孝武帝任命宇文泰為侍中、驃騎大將軍、開府儀同三司、關西大都督、略陽縣公，可以按皇帝的旨意自行封官。宇文泰得到了孝武帝的任命，終于名正言順，于是大肆封賞保駕有功的小弟，任命寇洛為涇州刺史，李弼為秦州刺史，前略陽太守張獻為南岐州刺史。

宇文泰傳檄各地，歷數高歡背叛朝廷的罪行，讓全國人民都看到自己的大義凌然，目的就是以收州郡軍民之心。七月流火，高歡率兵逼近北魏都城洛陽。孝武帝西走入關，宇文泰隆重迎接于長安，以長安為國家的都城，掌控了朝廷事務，不久，孝武帝元修將妹妹馮翊公主嫁給宇文泰，拜為駙馬，位進丞相。

魏孝武帝果然是出了屎窩，又進了尿窩，而且是更深的尿窩。孝武帝和高皇后感情不睦，于是瞄上了自己的堂妹，讓這三個妹妹不許嫁人，名義上封為公主，實際上在宮中當自己的老婆。其中的平原公主元明月儀態萬方，善解人意，陪著孝武帝度過了很多美好的時光。

在洛陽之時，高歡從不干涉孝武帝的家事，怎么折騰隨您的意。孝武帝逃離了洛陽，帶走了平原公主，來到了長安居住。宇文泰可看不慣這樣的埋汰事，出言刺激西魏元姓諸王：你家的姑娘不出嫁，原來都留著自己玩啊。這些王爺受不了這個，公然打進了皇宮，將平原公主從龍床上拎走，拉到外面剁了，以掩蓋宗族的丑行。

孝武帝恨得咬牙切齒，宇文泰太絕了，一個爺們兒沒有事業，有幾個相好的你也不讓，我家自己的肥水不流外人田，關你屁事！你小子橫刀奪愛，太霸道了！心中的郁悶發泄不去，于是不時用身體語言表示憤怒，彎弓搭箭亂射，或推翻了桌子，嘴里也不消停，不停地問候宇文泰的祖宗。

宇文泰可沒有高歡那么寬宏大量，聽说孝武帝敢于罵自己，心中不高興，干脆一不做二不休，派人給孝武帝送了一杯毒酒，禮貌的請他喝下去。孝武帝就是這么不光彩的離開了這個他看不懂的世界，時年二十五歲。

宇文泰悲痛的向**告了孝武帝駕崩的消息，當年十二月，大雪紛飛之際，宇文泰“與群公定策”，立平原公主的親哥哥元寶炬為帝。史稱西魏。

永熙三年（534）十二月，宇文泰以毒酒害死魏出帝，立元寶炬為帝，是為魏文帝，明年正月，文帝于長安城西即位，改元大統，宇文泰為丞相、都督中外諸軍事、大行臺，軍政大事盡出于泰手。從此，北魏分為東魏和西魏，高歡與宇文泰皆居相位，軍國大事總屬相府，成為實際的統治者，元氏皇帝不過是傀儡而已。

西魏立國后，形勢極為險峻，其時，天下三分，東有高歡大軍壓境，南有蕭梁不時構釁。尤其是高歡，視西魏為勁敵，急欲將其扼殺于襁褓之中，而東西魏力量對比又十分懸殊，東魏地廣國富，人口逾二千萬，兵強馬壯，高歡能調動的軍隊不下二十萬；西魏地狹國貧，人口不滿千萬，宇文泰直接掌握的軍隊不過三萬余人。同時，西魏立國之初，關中即遭大饑，人心浮動。宇文泰也看到了這種形勢，大統元年（535）三月，他命各衙署斟酌古今以來的治國經驗，且可以用于現實者，制訂頒行了二十四條新制。并提拔了武功大姓蘇綽為大行臺左丞，參與機密，擬訂治國大綱，革新政治。

宇文泰首先進行的是改革軍制，建立府兵制度。

大統三年（537），宇文泰開始整軍。先是，東魏連年入侵，永熙三年（524）八月，高歡帥師攻克潼關，進逼華陰（今陜西華陰西南）；大統元年（535）春正月，東魏大行臺尚書司馬子如率軍再攻潼關，見宇文泰已有準備，遂揮師攻華州（治華山，今陜西華縣），賴著刺史王羆的拚力死戰，才打退了東魏進攻；大統二年三月，高歡又親率萬騎襲取夏州，徙五千戶而歸。不久，又襲取靈州，徙五千戶而歸；大統三年正月，高歡又領軍屯蒲阪（今山西永濟縣蒲州鎮），于黃河上架設浮橋，準備渡河攻潼關。高歡恃戎馬之強，年年進攻西魏，雖然未曾得手，但宇文泰知道，長此下去，實力處于劣勢的西魏必然難以支持，當務之急，是要提高士氣，增強戰斗力，開拓兵源，擴充軍隊。

大統三年七月，宇文泰集諸軍于咸陽，八月，率之于潼關整軍，宣布軍法軍規，不得貪財輕敵，不得作威于百姓，與敵作戰，用命則賞之，逃脫皆戮之。通過這次整頓，西魏軍隊的戰斗力大大提高，不久，高歡率二十萬大軍入侵，西魏以少勝多，在沙苑（今陜西華陰縣境內）大敗高歡，俘敵八萬余人。

隨著軍隊素質的提高，宇文泰又進一步擴充軍隊，壯大軍事力量。初，宇文泰在接受賀拔岳的以武川兵戶為骨干的軍團時，這一軍團人數不過數千人，擊敗侯莫陳悅后，其大將李弼擁眾萬人來歸，以后，跟隨孝武帝元修入關的由鮮卑族人組成的北魏宿衛禁旅也有近萬人，合起來，宇文泰掌握的軍隊約有近三萬人，分別由十二個將軍率領。沙苑之役后，又通過收編降軍等不斷補充，人數漸漸增多，到大統八年（542）三月，正式建立六軍，時已有兵約十萬人。

宇文泰又對軍隊統轄系統進行改革，形式上采取鮮卑舊日的八部之制，立八柱國。除宇文泰自己在大統三年（537）由西魏文帝任命為柱國大將軍、都督中外諸軍事，為西魏軍隊的實際統帥外，又在大統十四年（548）任命西魏宗室廣陵王元欣為柱國大將軍，但僅掛虛名，并無實權，另任命趙貴、李虎、李弼、于謹、獨孤信、侯莫陳崇六人為柱國大將軍，實際統率六軍。每個柱國大將軍下有兩個大將軍，共十二大將軍；每個大將軍下有兩個開府，共二十四開府；每個開府下有兩個儀同，共四十八儀同；一個儀同領兵約千人，一個開府領兵兩千，一個大將軍領兵四千，一個柱國大將軍領兵八千，六柱國合計有兵四萬八千人左右，這支軍隊，就是歷史上所说的府兵。

府兵的前身，由賀拔岳的武川軍團、侯莫陳悅軍團中的李弼軍團以及隨孝武帝入關的北魏宿衛禁旅這三部分組成，這些軍隊都是鮮卑化的軍隊，尤其是武川軍團，前身是六鎮鮮卑，大都是拓跋族成員，隨著拓跋族的封建化，他們的地位下降，因此，他們參加了六鎮起義和河北起義；但是，他們又錯誤地認為是漢化導致他們的地位下降，而看不到漢化是歷史的進步和必然，竭力想回復到原來的氏族部落關系中去，宇文泰出身武川軍團，對這種心理十分了解。因此，在建立府兵時，就采用了鮮卑族原有的部落組織，即八部之制，作為編制新軍的藍本。在士兵和軍官之間的關系上，保持鮮卑舊日的氏族關系。西魏恭帝元年（554），又以有功諸將繼承鮮卑三十六國及九十九姓，除有的將領本來就用鮮卑復姓的不予更動外，那些已經在太和改制時將復姓改為單姓的將領則重新改為復姓，已采用漢姓或本來就是漢姓的，則賜以鮮卑姓，如李虎賜姓大野氏、李弼賜姓徒何氏、趙貴賜姓乙弗氏、楊忠賜姓普六茹氏，凡所統領的士兵皆以他們主將的鮮卑姓為自己的姓氏。

宇文泰借用氏族部落的血緣紐帶來組織府兵，使官兵之間蒙上了一層宗族的親密色彩，以搞好將領和士兵間的結合，提高府兵的戰斗力。事實上，府兵的組成，并沒有也不可能真正倒退到氏族關系中去，但由于這種兵制多少帶有一些過去部落兵制的色彩，因此從那些曾經淪落為兵戶的六鎮鮮卑來看，身份提高了，地位改善了，從而使府兵的戰斗力也增強了。