话说宣帝即位以来，已有六年，所有朝政，仍委任霍光办理。霍光每入朝见奏事，宣帝见了，立即起座敛容，十分恭敬，所有言语，虚心听受，不肯自出主意；霍光秉政前后二十年，到了地节二年春，年老得病，渐渐沉重，宣帝闻知，驾临霍光家中，亲到榻前问病，知得病势已危，医药难以挽救，不禁为之涕泣。及宣帝回宫，霍光上书谢恩，并请分自己封邑三千户封侄孙霍山为列侯，以奉兄去病之祀。宣帝见书，发交丞相御史议奏。即日拜霍光之子霍禹为右将军。不过数日，霍光病死。宣帝及上官太后亲来祭奠，使太中大夫任宣及侍御史五人持节护理丧事，中二千石以下官吏监修坟墓，赐以御用衣衾棺椀。到了葬日，灵柩装入辒辌车中，前导仪仗，逐队排列，首尾长有数里。满朝文武百官皆来送葬。丧车装饰异常华丽，并用黄屋左纛，一如帝制。又自长安直至茂陵，一路皆有军队陈列。此一段风光，不亚于天子出丧，哄动长安士民，扶老携幼，齐来观看。宣帝下诏赐谥宣成侯，遣官为起坟墓祠堂，置园邑三百家，设官看守，依时祭奠。清人谢启昆有诗咏霍光道：风采人瞻博陆侯，端居画室赞皇猷。放桐伊尹阿衡重，负扆周公侧席求。骖乘祸萌芒刺背，徙薪计失客焦头。家奴尽倚将军势，悔不封章发逆谋。宣帝自霍光死后，始行亲理政务。此时丞相蔡义已死，韦贤为丞相，魏相为御史大夫。韦贤字长孺，鲁国人，为人质朴少欲。勤于学问，博通经书，时人称为邹鲁大儒，曾教昭帝读诗，官至大鸿胪。本始三年代蔡义为相，封扶阳侯，食邑七百户。魏相字弱翁，定陶人，少学易，被举贤良，为茂陵令，擢河南太守，禁暴除奸，豪强畏服。是时适值丞相田千秋病死，其次子为洛阳武库令，平日见魏相治郡甚严，如今又失了父亲，心恐在官日久，不免因过失得罪，遂即辞职而去。魏相闻知，急遣属吏前往追之，意欲将他唤回。田千秋次子竟执意不肯。屑吏无法，只得回报魏相。魏相顿足道：“大将军闻知此人去官，必以为我见丞相已死，不肯善待其子，使他因此见怪，吾势危矣！”因此魏相心中闷闷不乐。后来田千秋次子到了长安，大将军霍光闻知，果然责备魏相道：“今幼主新立，大局未安，函谷乃京师要地，武库为精兵所聚，故以丞相弟为关都尉，子为武库令。
今河南太守不深思国家大计，一见丞相不在，便即斥逐其子，用意何其浅薄。”魏相受此责备，真是冤枉，此时便要辩白，霍光也不肯信。过了一时，有人告发魏相杀死无辜之人。霍光便发交有司拘提魏相讯办。一时在京河南成戌二三千人，闻知此事，一齐拦住霍光车前说道：“情愿再留京师作工一年，以赎太守之罪。”又有河南百姓老弱万余人，守住函谷关，意欲入关上书恳求释放魏相，关吏不敢放其入关，只得报闻朝廷。霍光却为前事心恨魏相，不听人要求，竟将魏相交与廷尉下狱。魏相在狱经年，恰遇大赦得出。此时霍光怒气已平，又见魏相深得民心，遂使试署茂陵县令，后又擢为扬州刺史。魏相考察各郡国守相不称职者，尽行劾奏，多被贬逐。时光禄大夫丙吉，素与魏相交好，见其锋棱太露，恐又因此得罪，遂作书劝道：“朝廷已深知弱翁才干，望稍谨慎自重。”魏相得书，深以为然，于是一切从宽，后复为河南太守。宣帝即位，召人为大司农。本始三年，擢御史大夫。至是霍光既死，其于霍禹已为右将军，嗣爵博陆侯。魏相心恐霍禹擅权，遂上书请拜张安世为大将军以代霍光之位。宣帝亦有此意，诏书未下，安世已有所闻，心中甚惧，乃入见宣帝说道：“老臣妄有所闻，言之算是冒昧，不言则下情不达，老臣实自量不足以居大位，继大将军之后，愿陛下哀怜，曲全老臣之命。”宣帝闻言笑道：“君言太谦，君尚不可，更谁可者？”安世叩首固辞，宣帝不许，遂拜安世为大司马车骑将军领尚书事。宣帝又思念霍光功德，并记起霍光临死曾请封兄孙霍山，遂下诏封霍山为乐平候，以奉车都尉领尚书事。到了次年，宣帝始封许后父许广汉为平思候，又封霍光兄孙中郎将霍云为冠阳侯，霍氏一门三侯。霍显此时居然为了太夫人，与冯子都同居，俨如夫妇。霍光在时自作坟墓，霍显嫌其狭小，重行改作，规模甚是阔大，三面起阙，建筑神道，北临昭灵馆，南出承思馆。并修饰祠堂，起阁道，通连永巷，尽幽霍光妾婢以守之。又大治第宅，自作乘辇，上画五彩，涂以黄金，锦绣为茵，以熟皮及丝绵包裹车轮，使侍婢用五彩丝绳挽车游行宅中。霍禹、霍山亦皆修建住屋，极其华丽。又不时出外游行，驰逐平乐观一带。霍云更是放荡，每当朝见之日，往往假称疾病，私自出外，带领许多宾客架鹰牵犬，到了黄山苑中，张围大猎，却使苍头奴持了名帖，上朝挂号。
有司畏其势力，不敢责备。霍显又与诸女任意出入长信宫，日夜无度。魏相本与霍氏意存芥蒂，今又见此情形不成事体，便请许广汉带领入见宣帝，面奏此事。魏相既见宣帝，便说道：“自后元以来，政归大臣，今霍光已死，其子霍禹复为右将军，兄孙霍山现居政府，兄弟诸婿皆据高位，职掌兵权。霍光夫人显及诸女，在长信宫皆有名籍，或夤夜称诏，开门出入，骄奢放纵，恐渐不制，宜设法减夺其权，破其阴谋，以固万世之基，并可保全功臣之后。”宣帝自在民间，久闻霍氏贵盛，其家人倚势横行，种种不法，心中已是不喜，因看霍光面上不便究问。今闻魏相之言，甚合其意，点头称善。又过数日，魏相复由许广汉面请宣帝，除去副封，以免壅蔽。原来旧例人民上书，须备正副两封，先由领尚书者开拆副封观看，若是所言不善，便将原书搁起不奏。今宣帝依从魏相之言，除去副封，人民所上之书，不须由霍山过目。霍山虽领尚书事，但已毫无权力。宣帝既亲信魏相，遂命为给事中，与之计议。又准令群臣单独进见言事。霍显虽然日事淫乐，却也留心朝政，见此情形，知是不妙，因唤集霍禹及霍山、霍云等说道：“汝辈不思奉承大将军遗业，保全自己地位，今御史大夫得为给事中，汝辈须当留意，若使他人进言离间，将来何以自救？”霍禹等闻言尚不在意。谁知不久恰又闹出事来。说起霍氏一班家奴，当霍光在日，倚借主势，气焰凌人，谁敢向他得罪？如今霍光虽死，他一向骄横已惯，更不肯稍稍敛迹。一日霍氏家奴与御史大夫家奴同在路上行走，偏是冤家路窄，两下相遇，各欲他人让路，彼此争执良久。霍氏家奴大怒，率领一众闯入御史府中，府中人等见了，连忙关上大门。霍氏家奴便欲动起手脚，踏破大门。
御史闻知，连忙对众叩头谢罪，方始息事。在御史也只得忍辱吞声，不与计较。旁人见了，却甚不平，一时议论纷纷，都说霍氏家奴目无法纪，欺人太甚。霍显等闻之，方知忧惧。此时丞相韦贤年老多病，便向宣帝辞职，宣帝赐以黄金安车驷马归第。汉时丞相致仕，算韦贤为第一人。于是宣帝遂拜魏相为丞相，以丙吉为御史大夫，二人同心辅政，宣帝甚加倚任。魏相不时入见宣帝，商议政事。宣帝又宠信平恩侯许广汉及侍中金安上，许其任意出入宫中。安上字子候，乃金日磾之侄，地节元年曾举发楚王刘延寿反谋，赐爵关内侯。安上为人谨厚有智略，深得宣帝爱重。霍显及霍禹等见诸人得势，心中妒忌，因此甚加嫌恶。霍显更是担忧，却又不便告知他人，只是长日闷闷不乐。读者试想霍显何事担忧，只因前次毒死许后，犯了弥天大罪，惟恐被人得知。偏是俗语有云：“若要人不知，除非己莫为。”当日许后死得不明不白，外间已自有人议论，又见淳于衍得释出狱，忽然发了一笔大财，大众早猜到其中必有原因。及霍氏得立为后，众人遂皆恍然，但碍着霍光尚在，不敢多言，恐致惹祸。如今霍光已死，便又有人将此语到处传播，却被宣帝闻知，心中也觉可疑，暗想此言如果属实，必须严行究办，为许后报复冤仇。惟是众口喧传，未得确实证据，尚难发作。且霍氏子弟亲属布满朝廷，大抵手握兵权，势力甚大，要想惩治，亦难下手。如今既有此等风闻，霍氏万难亲信，须趁此时逐渐削其权力，免贻后患。宣帝于是召到魏相等密议处置之法。原来霍光自上官桀谋反发觉之后，心恐被人暗算，于是任用女婿度辽将军范明友为未央卫尉，次女婿中郎将任胜为羽林监，又以长女女婿邓广汉为长乐卫尉，中女女婿赵平为散骑骑都尉光禄大夫，带领戍兵；姊婿张朔为光禄大夫给事中，孙婿王汉为中郎将，今霍禹又为右将军，朝中兵权，皆属霍氏。在霍光原是一心为国，但为防患起见，免遭他人毒手，谁知威权太重，反致惹人疑忌。当日宣帝与魏相商议已定，先将范明友移为光禄勋，出任胜为安定太守。过了数月，又出张朔为蜀郡太守，王汉为武威太守，不久复移郑广汉为少府，以霍禹为大司马，尊以空名，使与霍光同官，其实并无印绶官属，遂尽收诸人兵权。另用许史二家子弟为将，拜张安世为卫将军，所有两宫卫尉城门北军屯兵皆归统属。霍禹明知宣帝夺其兵权，心中愤郁，遂称病不肯入朝。一日坐在家中，忽见外间传报有人前来拜访。霍禹看了名帖，乃是熟人，便命请入。其人走进，一见霍禹，启口问玻霍禹听了，不禁长叹一声，便将心事说出。未知来人是谁。