初，上过利州，西临蜀都，往来表疏，道路相望。知两京有克复之期，兆人伫来苏之庆。仍皇情未畅，臣下多虞。及出剑门到巴蜀，井邑、气倏、风云，与中国而颇殊，对偏方而增恨，应沾扈从皆同此心。敕节度使崔圆以忠恳至诚，恐皇恩轸虑儿所，进奉不越时宜，应修殿宇，不剿人力。上为之悦，左右皆称“万岁。”上曰：“崔圆可谓大臣欤。”即日拜相。西南之俗，无不欣然。後崔相欲赴行在，未测圣情。上觉其忧惧，谓高公曰：“朕观崔圆，器宇冲邃，理识弘通，比诸宰臣，无出其右。若得对见，必倍承恩。”後果如上言。且蜀中风土，有异中原，秋热冬温，昼晴夜雨，事之常也。及驾出剑门到巴蜀，气候都变，不异两京。九月十九日，霜风振厉，朝见之时，皆有寒色。诏即令着袍。至二十一日，百官尽衣袍立朝，不依旧式。每奏事人，来往两京，动静无不尽知。
二年正月，禄山为子庆绪所杀，庆绪伪立。凶谋逆计，主以严庄；伪敕伪书，出於高尚。但置酒为乐，余无所图。上谓高公曰：“皇帝久在凤翔，兵威大震，凶徒逆党，即应殄灭。”高公伏奏曰：“逆贼背天地之恩，恣豺狼之性，更相鱼肉，其可久乎？”九月，皇帝在凤翔，元帅广平王中书令郭子仪驱百万之熊罴，吞二京之蚊蚋，不逾旬月，收复两都。庆绪北走於邺中，王师续围於城下。
至乾元元年，庆绪为逆贼史思明所杀，王师失利，再陷洛阳。李光弼作镇於河阳，郭英乂次安於虢路。上元元年，为子朝义所杀。至宝应元年，却收洛阳。朝义奔走，不知所在。上皇谓高公曰：“安、史二逆贼，父子相次伏诛，岂非天地神明之所殛罚也！”高公曰：“皇帝圣化无穷，陛下仁德，福流万叶。凡是凶丑，自合诛夷，不胜庆快之至。”
初，至德二年十一月诏，迎太上皇於西蜀。十二月至凤翔，被贼臣李辅国诏外随驾甲仗。上皇曰：“临至王城，何用此物。”悉令收付所由。欲至城。皇帝具仪仗出城迎候。二圣相见泣涕，义之倾城，道俗一时忭舞。便於兴庆宫安置。
乾元元年冬，上皇幸温泉宫。二十日，却归，因此被贼臣李辅国阴谋不轨，欲令猜阻。更树勋庸，移仗之端，莫不由此。辅国趋驰末品，小子纤人，一承攀附之恩，致位云霄之上。圣上属残孽未殄，苍生不安，贪总军戎，冀清海内。不暇拣择左右，屏弃回邪，遂使辅国荧惑两宫，伤万姓，恣行威福，不惧典刑。上元元年七月，太上皇移仗西内安置，高公窜谪囗州，皆辅国之计也。
上皇在兴庆宫，先留厩马三百匹，欲移仗前一日，辅国矫诏，索所留马，惟留十匹。有司奏陈，上皇谓高公曰：“常用辅国之谋，我儿不得终孝道。明早向北内。”及晓，至北内，皇帝使人起拜云：“两日来疹病不复，亲起拜伏，伏愿且留吃饭。”饭毕，又曰：“伏愿且归南内。”行欲至夹城，忽闻戛戛声。上惊回顾，见辅国领铁骑数百人，便逼近御马。辅国便持御马，高公惊下，争持曰：“纵有他变，须存礼仪，何得惊御？”辅国叱曰：“老翁大不解事，且去！”即斩高公从者一人。高公即拢御马，直至西内安置。自辰及酉，然後老宫婢十数人，将随身衣物至，一时号泣。上皇止之：“皆辅国矫诏之所为也，圣上宁得知之乎？”上皇谓高公曰：“兴庆是吾王地，吾频让与皇帝，皇帝仁孝，不受。今虽为辅国所制，正惬我本怀。进御人令撤肉，便处分尚食。明日已後，不须进肉食。”
每月上皇与高公，亲看扫除庭院，芟草木，或讲经论议，转变说话，虽不近文律，终冀悦圣情。经十余日，高公患疟，敕於功臣阁下避疟。日晚闻门外有人问，称是“啖庭瑶”，云：“圣人唤阿翁，问会见太上皇未？”曰：“见了。”高公亦不敢辞，即随庭瑶至阁门外，日晚见内养将一卷文书状云：“使看略见少多，皆是罢职，却被索将附奏。”云：“臣合死已久，圣恩含忍，容至今日，所看事状，并不曾闻。伏愿得亲辞圣颜，然後受戮，死亦无恨。”明日有制：“力士潜通逆党，曲附凶徒，既怀枭獍之心，合就鲸鲵之戮。以其久侍帷幄，颇效勤劳，且舍殊死，可除名长流囗州。”九月三十日，至囗州，随身手力不越十人，所余衣粮才至数月。殷忧待罪，首尾三年。
经一年，忽见本道观察第五国珍谪至夷州，与第五相饮赋诗，曰：“烟熏眼落膜，瘴染面朱虞。”谓同病曰：“宰相犹如此，余何以堪？”左右闻之，皆为挥涕。又於园中见荠菜，土人不解吃，更赋诗曰：“两京秤斤买，五溪无人采，夷夏虽有殊，气味应不改。”使拾之为羹，甚美。或登山临水，以永终日。
至元年建辰月，有制：流人一切放还。至建巳月，二圣昇遐，今上即位，改元为宝应元年。六月，囗州二圣遗诏到，号天叩地，悲不自胜。制服持丧，礼过常度。每一号恸，数回气绝，昼夜无时，伤感行路，恨不得亲奉陵寝，而使永隔幽明。哀毁既深，哽咽成疾。七月，发山至郎州，八月，病渐亟，谓左右曰：“吾年已七十九，可谓寿矣。官至开府仪同，可谓贵矣。既贵且寿，死何恨焉？所恨者：二圣昇遐，攀号不迨，孤魂旅榇飘泊何依。”泣下沾襟，视之尽血，言毕，以宝应元年八月十八日，终於朗州。元寺之西院。远近闻之，莫不伤叹。九月，灵榇发朗州。十一月，至襄州。有诏令後旧官爵追赠广州都督，丧事行李，一切官给，陪葬玄宗陵。
高公所生母麦氏，即隋将铁杖曾孙，始与母别时年十岁。母抚其首泣曰：“与汝分别，再见无时，然汝胸上七黑子，他人云必贵。吾若不死，得重见，记取此言。汝常弄吾臂上双金环，吾亦留看待见，汝伺之，慎勿忘却。”即与诀别，向三十年後，知母在泷州，虽使人迎候，终不敢望见。及到，子母并不相识，母问曰：“与汝别时，记语否？”“胸前有黑子。”母曰：“在否？”即解衣视之，母亦出金环示之，一时号泣，累日不止。上闻，登时召见，封越国夫人，便於养父母家安置，千余年後，卒葬东京原。燕公志墓曰：“验七星於子心，辨双环於母臂。”即此事也。其妻东平吕氏，故歧州刺史玄悟之女，躬行妇道，有逾常礼。
大理司直太原郭湜曰：“李辅国谬承恩宠，窃弄威权，蒙蔽圣聪，恣行凶丑。所持刑宪，皆涉回邪，即有敬毛裴毕之流，起周代索丘之狱，既无所措，难以图存。使天下之心，自然摇矣。但经推案，先没家赀，不死则流，运逾千计。黔中道此一色尤多，则三故相：裴冕、张镐、第五琦是也；一大夫：贺兰进明是也；六中丞：郑叔清、畅灌、韦利见、皇甫锐、张万顷、毛若虚是也；七御史：李融、屈无易、孙昌胤、孙莹、宋晦、严锐、毕曜是也；三员外：张渭、张之绪、李宣是也；一左丞：皇甫铣是也；一郡王：瑀是也；一开府：力士是也。遗、评、补、博、卿、监、司、舍、将军、列卿、州牧、县宰已下，散在诸郡不可尽纪。从至德至宝应，向二千人。及承恩放还，十二三矣。嗟乎！婬刑以逞，谁得无罪？湜同病者，报以志之，况与高公，俱婴谴累。每接言论，敢不书绅，岂谓怀辅弼之元勋，当休明之圣代。卒为谗佞所恶，生死衔冤，悲夫。”