贺拔胜字破胡，神武尖山人也。其先与魏氏同出阴山。有如回者，魏初为大莫弗。祖尔头，骁勇绝伦，以良家子镇武川，因家焉。献文时，茹茹数为寇，北边患之。尔头将游骑深入觇候，前后以八十数，悉知虏之倚伏。后虽有寇至，不能为害。以功赐爵龙城侯。父度拔，性果毅，为武川军主。
魏正光末，沃野镇人破六汗拔陵反，南侵城邑。怀朔镇将杨钧闻度拔名，召补统军，配以一旅。其贼伪署王卫可孤徒党尤盛，既围武川，又攻怀朔。胜少有志操，善骑射，北边莫不推其胆略。时亦为军主，从度拔镇守。既围经年，而外援不至，胜乃慷慨白杨钧曰：“城围蹙迫，事等倒悬，请告急于大军，乞师为援。”钧许之。乃募勇敢少年十余骑，夜伺隙溃围而出。贼追及之。胜曰：“我贺拔破胡也。”贼不敢逼。至朔州，白临淮王元彧曰：“怀朔被围，旦夕沦陷，士女延首，企望官军。大王帝室藩维，与国休戚，受任征讨，理宜唯敌是求，今乃顿兵不进，犹豫不决。怀朔若陷，则武川随亦危矣。逆贼因兹，锐气百倍，虽有韩、白之勇，良、平之谋，亦不能为大王用也。”彧以胜辞义恳至，许以出师，还令报命。胜复突围而入，贼追之，射杀数人。至城下，大呼曰：“贺拔破胡与官军至矣。”城中乃开门纳之。钧复遣胜出觇武川，而武川已陷，胜乃驰还。怀朔亦溃，胜父子遂为贼所虏。后随度拔与德皇帝合谋，率州里豪杰舆珍、念贤、乙弗库根、尉迟真檀等，招集义勇，袭杀可孤。朝廷嘉之，未及封赏，会度拔与铁勒战没。孝昌中，追赠安远将军、肆州刺史。
初，度拔杀可孤之后，令胜驰告朔州，未反而度拔已卒。刺史费穆奇胜才略，厚礼留之，遂委其事，常为游骑。于时广阳王元深在五原，为破六汗贼所围，昼夜攻战。召胜为军主。胜乃率募二百人，开东城门出战，斩首百余级。贼遂退军数十里。广阳以贼稍却，因拔军向朔州，胜常为殿。以功拜统军，加伏波将军。又隶仆射元纂镇恒州。时有鲜于阿胡拥朔州流民，南下为寇。恒州城中人乃潜与谋，以城应之。胜与兄允弟岳相失，南投肆州。允、岳投尔朱荣。荣与肆州刺史尉庆宾构隙，引兵攻肆州。肆州陷，荣得胜，大悦曰：“吾得卿兄弟，天下不足平也。”
胜委质事荣。时杜洛周阻兵幽、定，葛荣据有冀、瀛。荣谓胜曰：“井陉险要，我之东门。意欲屈君镇之，未知君意如何？”胜曰：“少逢兵乱，险阻备尝，每思效力，以报（已）〔己〕知。今蒙驱使，实所愿也。”荣乃表胜为镇远将军、别将，领步骑五千镇井陉。孝昌末，从荣入洛，以定策立孝庄帝功，封易阳县伯，邑四百户。累迁直合将军、通直散骑常侍、平南将军、光禄大夫、抚军将军。从太宰元穆北征葛荣，为前锋大都督。战于滏口，大破之，虏获数千人。时洛周余烬韩娄在蓟城结聚，为远近之害。复以胜为大都督，镇中山。娄素闻胜威名，竟不敢南寇。元颢入洛阳，孝庄帝出居河内。荣征胜为前军大都督，领千骑与尔朱兆自硖石度，大破颢军，擒其子领军将军冠受，及梁将陈思保等，遂前驱入洛。拜武卫将军、金紫光禄大夫，增邑六百户，进爵真定县公，迁武卫将军，加散骑常侍。
及荣被诛，事起仓卒，胜复随世隆至于河桥。胜以为臣无雠君之义，遂勒所部还都谒帝。大悦，以本官假骠骑大将军、东征都督，率骑一千，会郑先护讨尔朱仲远。为先护所疑，置之营外，人马未得休息。俄而仲远兵至，与战不利，乃降之。复与尔朱氏同谋，立节闵帝。以功拜右卫将军，进车骑大将军、仪同三司、左光禄大夫。
齐神武怀贰，尔朱氏将讨之。度律自洛阳引兵，兆起并州，仲远从滑台，三帅会于邺东。时胜从度律。度律与兆不平。胜以临敌构嫌，取败之道，乃与斛斯椿诣兆营和解之，反为兆所执。度律大惧，遂引军还。兆将斩胜，数之曰：“尔杀可孤，罪一也；天柱薨后，复不与世隆等俱来，而东征仲远，罪二也。我欲杀尔久矣，今复何言？”胜曰：“可孤作逆，为国巨患，胜父子诛之，其功不小，反以为罪，天下未闻。天柱被戮，以君诛臣，胜宁负朝廷？今日之事，生死在王。但去贼密迩，骨肉构隙，自古迄今，未有不破亡者。胜不惮死，恐王失策。”兆乃舍之。胜既得免，行百余里，方追及度律军。齐神武既克相州，兵威渐盛。于是尔朱兆及天光、仲远、度律等众十余万，阵于韩陵。兆率铁骑陷阵，出齐神武之后，将乘其背而击之。度律恶兆之骄悍，惧其陵己，勒兵不肯进。胜以其携贰，遂率麾下降于齐神武。度律军以此先退，遂大败。
太昌初，以胜为领军将军，寻除侍中。孝武帝将图齐神武，以胜弟岳拥众关西，欲广其势援，乃拜胜为都督三荆、二郢、南襄、南雍七州诸军事，进位骠骑大将军、开府仪同三司、荆州刺史，加授南道大行台尚书左仆射。胜攻梁下溠戍，擒其戍主尹道珍等。又使人诱动蛮王文道期，率其种落归款。梁雍州刺史萧续击道期不利，汉南大骇。胜遣大都督独孤信、军司史宁。欧阳酇城。南雍州刺史长孙亮、南荆州刺史李魔怜、大都督王元轨取久山、白洎，都督拔略昶、史仵龙取义城、均口，擒梁将庄思延，获甲卒数千人。攻冯翊、安定、（冯）〔沔〕阳，并平之。胜军于樊、邓之间。梁武敕续曰：“贺拔胜北间骁将，尔宜慎之。”续遂城守不敢出。寻进位中书令，增邑二千户，进爵琅邪郡公。续遣柳仲礼守谷城，胜攻之未拔。属齐神武与帝有隙，诏胜引兵赴洛，至广州，犹豫未进，而帝已西迁。胜还军南阳，遣右丞（杨）〔阳〕休之奉表入关，又令府长史元颍行州事。胜自率所部，将西赴关中，进至淅阳，诏封胜太保、录尚书事。时齐神武已陷潼关，屯军华阴。胜乃还荆州。州民邓诞执元颍，北引侯景。胜至，景逆击之，胜军不利，率麾下数百骑，南奔梁。
在江表三年，梁武帝遇之甚厚。胜常乞师北讨齐神武，既不果，乃求还。梁武帝许之，亲饯于南苑。胜自是之后，每行执弓矢，见鸟兽南向者皆不射之，以申怀德之志也。既至长安，诣阙谢罪。朝廷嘉其还，乃授太师。