荣性好猎，不问寒暑，列围而进，士卒必步伐齐壹，虽遇险阻，不得违避，一鹿逸出，必数人坐死。有一卒见虎而走，荣怒曰：“汝畏死耶！”即斩之。自是每猎，士卒如登战场。尝见虎在空谷中，令十余人空手搏之，毋得损坏皮毛，死者数人，卒擒得之，以此为乐。尝召天穆于朝，问以朝中动静。留数日，共猎于南山。天穆谏曰：“大王勋业已盛，四方无事，惟宜修政养民，顺时搜狩，何必盛夏驰逐，感伤和气。”荣攘袂大言曰：“灵后不纲，扫除其乱，推奉天子，乃人臣常节。葛荣之徒，本皆奴才，乘时作乱，譬如奴走，擒获即已。顷来受国大恩，未能混一海内，何得遽言勋业？如闻朝士犹多宽纵，今秋欲与兄戒勒士马，交猎嵩高，令贪污朝贵入围搏虎，不从命者斩之。乃出鲁阳，历三荆，悉拥生蛮北填六镇。回军之际，扫平汾胡。更练精兵，分出江、淮，萧衍若降，赐以万户侯；如其不降，以数千轻骑，渡江缚取以来。然后与兄奉天子巡四方，乃可称勋耳。今不频猎，兵士懈怠，安可复用哉？”天穆再拜曰：“非鄙怀所及。”
荣欲密树党援，易河南州牧、郡守，悉用北人为之。天穆归，附奏以闻。
帝览奏，疑之，谓天穆曰：“河南牧守皆克称职，况北人不暗南事，恐未可易。”天穆不悦曰：“天柱有大功于陛下，为国宰相，即请遍代天下之官，恐陛下亦不得违。如何启用数人，遂不许也？”帝正色而言曰：“天柱若不为人臣，虽朕亦可代。如其犹存臣节，无代天下百官之理。”天穆语塞而退。
荣见奏不允，大怒曰：“天子由谁得立，今乃不用我言耶？”先是散骑常侍高干邕好任侠，其弟三人：次仲密，次敖曹，次季武，皆才勇。而敖曹尤武艺绝伦，人称之为楚霸王，皆与帝有旧。河阴之乱，干乃聚兵于河、济之间，频破尔朱军。帝使人招之，遂同入朝。帝封干邕为黄门侍郎，敖曹为散骑常侍。荣知之，奏帝曰：“此等皆曾叛乱，不宜立于朝廷。”帝不得已，并解其职，放还乡里，由是帝怀不平。
尔朱后容颜绝代，初入宫，与帝甚相欢悦，而性烈如火，又极嫉妒，六宫嫔御皆阻绝临幸，虽王府旧人，亦不得见帝一面。时三月中旬，帝见春色甚好，带了内侍数人，步入御园游玩，在千秋亭上凭栏观鱼。有宫人进前曰：“紫华宫赵贵人见驾。”帝令入，妃再拜。帝问曰：“卿何知朕在此而来？”
妃曰：“妾不知陛下在此，偶尔至园，闻帝在亭，特来朝见。”帝赐坐，与言昔日事，命宫人置酒共酌。盖妃本旧侍，帝素宠爱，以后故，阻绝旧情，故见面依依不舍。又谓妃曰：“朕不到卿宫几年矣？”对曰：“二年。”帝曰：“朕虽至尊，动息不能自主，致令抛弃卿家。”说罢愀然。少间，赵妃拜退，帝亦回宫。那知后已密知此事，设宴对饮，见帝默默不乐，后曰：“今日谁恼圣怀，对酒不饮？”帝曰：“懒于饮耳，无所恼也。”后曰：“陛下休瞒，千秋亭上赵妃以言语触犯，故帝不乐。明日妾为帝治之。”帝惊曰：“赵妃系朕旧人，与之略谈数语，有何触犯，劳卿责治？”后道：“擅出宫门，一罪也。私来见驾，二罪也。妾主中宫自有法度，陛下何得以私爱而庇有罪之人？”帝见其言词不顺，拂衣而起，后安坐不动。帝心愈恚，遂不顾而去。次日，后御九华殿会集诸妃、贵人，下令曰：“紫华宫赵贵人自恃旧宠，骄纵不法，擅入御园，私预帝宴，大干宫禁。”遂执赵妃于阶下，命即勒死，埋尸苑内。诸妃见了，大惊失色，暗暗垂泪回宫。帝闻妃死，不胜伤感，然畏尔朱权势，只得容忍。因念世隆是他叔父，或可劝谕，乃使入告于后。世隆拜见，赐坐殿上。后问：“何事至内？”世隆曰：“臣有一言上达。娘娘主持内政，执法过严，帝心不安，故命臣进见，愿宏宽仁之度，毋拂圣怀。”后大怒道：“天子由我家得立，乃心爱他人而反致怨于我，何忘恩若此？但恨我父当日何薄天子不为而偏立之？”世隆曰：“天柱若自为帝，臣亦得封王矣。”世隆遂出，复命于帝曰：“臣奉陛下之旨劝谕一番，后自此改矣。”那晓尔朱后因帝不悦，凶悍愈甚，全无天子目中。
帝是时外制于荣，内迫于后，日夜怏怏，不以万乘为乐。唯幸寇盗未息，欲使与荣相持。及关、陇既定，告捷之日乃不甚喜，谓临淮王彧曰：“即今天下，便是无贼。”彧见帝色不悦，曰：“臣恐贼平之后，正劳圣虑。”帝恐余人觉之，因言曰：“抚宁荒乱，真是不易。”时城阳王徽、侍中李彧在旁，皆觉帝意，因日毁荣于帝，劝帝除之。帝亦惩河阴之难，恐终难保，由是密有图荣之意。荣又奏称：“参军许周劝臣取九锡，臣恶其言，已斥遣罢退。”盖荣望得殊礼，故言之以讽朝廷。帝称叹其忠心，益恶之。乃召心腹
旧臣侍中杨侃、李彧、右仆射元罗、城阳王徽、胶东侯李侃曦、济阴王晖业、尚书高道穆等入宫，密议其事。杨侃曰：“臣有三策，乞陛下自裁。”帝问：“何策？”侃曰：“密勒人马，将在京逆党尽行诛绝。发兵拒守太行山，绝其进犯之路，如有兵来，与之死战。诏发四方之兵，勤王救驾，或可扫除凶逆，侥幸成功。此上策也。”帝曰：“敌之非易。中策若何？”侃曰：“前日荣请入朝，视皇后
娐。密伏壮士宫中，赚之入内，刺杀之。即大赦，以安其党，其间或可获全。此中策也。”帝问：“下策若何？”侃曰：“任其所为，且图目下之安。此下策也。”帝曰：“卿之中策乃朕上策，众卿以为然否？”济阴王晖业曰：“荣若来，必有严备，恐不可图。”议至日晚，茫无定见。帝命且退。众官出，至太极殿北，忽见红灯拥道，人从纷纷，遣人探视，乃尔朱世隆坐在殿西廊下。众皆大惊，欲避不得。世隆已遣人来请相见，众臣不敢退阻，遂来西廊向世隆施礼。世隆问曰：“殿下众官在宫议何朝政，至此方出？”城阳王曰：“天子闲暇无事，召我等闲谈消遣。又因天柱不受九锡，欲赐以殊礼。言论良久，不觉至晚。”世隆冷笑曰：“帝欲赐天柱九锡，自应先与我语。诸公与帝商议一日，此中自有别情。但祸福自召，莫谓天柱之刀不利也。”说罢，起身便行。众官闻之，皆失色而散。
你道世隆为何等候在此？盖早上探得诸臣入内与帝私议，必有图害之意，故等待出来先行喝破，以挫诸臣之气。当夜归府，便即写书到晋阳，备说城阳、杨侃等数人终日在宫，密谋图害我家，大王若入朝必须预为之备。
荣得书大笑道：“世隆胆怯，彼何人斯，而敢图我耶？”其时天穆回并州，荣以书示之。天穆曰：“长乐为帝以来勤于为政，万几皆自主张，欲使大权复归帝室。城阳王等结党树援，为帝腹心，欲不利于大王，不可不信。”荣曰：“城阳王等皆庸奴，何敢作难？倘帝心有变，目今皇后怀孕，若生太子，我至京废黜天子，立外甥为君。若非太子，陈留王亦我女婿也，便扶他为帝。兄意以为何如？”天穆曰：“以大王之雄武，何事不可成功？且俟入朝，相机而动。仆虽不敏，愿效一臂之力。”荣大喜。次日，复以书示北乡公主。