同治十一年（公元1872年）春，曾国藩病逝于两江总督任上，曾纪泽扶灵回籍安葬于善化（今长沙）平塘。光绪二年（公元1876年）冬，他离开长沙复入京。翌年被袭封一等毅勇侯爵。光绪四年（公元1878年）六月，奉旨赏戴花翎，派充英国、法国钦差大臣。赴任前，西太后召见他于养心殿东间。西太后说：“办洋务甚不容易，闻福建又有焚教堂房屋之案，将来必又淘气。”曾纪泽答：“办洋务难处，在外国人不讲理，中国人不明事势。中国臣民常恨洋人，不消说了，但须徐图自强，乃能为济，断非毁一教堂、杀一洋人，便称报仇雪耻。”西太后说：“这些人明白这道理的少。你替国家办这点事，将来这些人必有骂你的时候，你都要任劳任怨。”曾纪泽说：“臣从前读到‘事君能致其县’一语，以为人臣忠则尽命。观近来时势，见得中外交涉事件，有时须看得性命尚在第二层，竟须拼得将声名看得不要紧，方能替国家保全大局。即如前天津一案，臣的父亲先臣曾国藩，在保定动身，正是卧病之时，即写了遗嘱吩咐家里人，安排将性命不要了。及至到了天津，又见事务重大，非一所能了事，于是委曲求全，以保和局。其时京城士大夫骂者颇多，臣父亲引咎自责。寄朋友的信常写‘外惭清议，内疚神明’八个字，正是拼却声名以顾大局。其实当时事势，舍臣父之所为，更无办法。”西太后问：“你现在在总理衙门居住？”曾纪泽答：“总理衙门事务势不能不秘密，臣等从前未敢与闻。现因奉旨出使，须将英国、法国前后案件查考一番。其全案虽在郭嵩焘处，然臣在路上必有外国人交接应酬，若言谈之际全然不知原委，未免不便。”西太后满意地说：“你办事倒很细心。”
是年的九月初四，曾纪泽携眷离京，转沪起程赴法，出任常驻英、法大臣。在出使任内，他刻苦攻读英语、法语，深入了解各国历史、国情，研究国际公法，考察西欧各国工、商业及社会情况。他还将使馆由租赁改为自建，亲自负责图书、器物的购置，务使使馆规模不失大国风度，亦不流于奢靡。使馆落成，他还亲书一联悬挂大门两侧：
濡耳染目，靡丽纷华，慎勿忘先父俭以养廉之训；
参羊倚衡，忠信笃敬，庶可行圣人存而不论之邦。
上联警策自己，要不忘其先父“俭以养廉”的家训，能在西方的花花世界立于不败之地；下联则阐明其外交宗旨，要尊孔子所说的“言忠信，行笃敬，虽蛮貊之邦行矣”和《庄子?齐物论》六合之外圣人“存而不论”的教言。这种谦虚谨慎和为政清廉的作风，深为外国人所敬重。
在曾纪泽出使任内，巴西于光绪五年（公元1879年），通过驻英公使与曾纪泽联系，谋求与中国建交、通商，并招募华工垦荒。曾纪泽审时度势，积极建议清廷予以同意。惟对招募华工一事，因美洲各国虐待“苦力”，他请予拒绝。可见中巴建交，曾纪泽作出了开创性的贡献。
光绪六年（公元1880年）正月，曾纪泽被补授大理寺少卿，除任驻英、法大臣以外，还兼任驻俄大臣，赴俄谈判收复伊犁地区问题。曾纪泽赴俄之前，崇厚已在赴俄谈判中擅自签订了《里瓦几亚条约》，丧权辱国，朝野哗然。曾纪泽这次出使，举国瞩目。六月，他行抵俄京，前后谈判达10个月，正式会谈辩论，有记录可稽者51次，反复争辩达数十万言。经他的据理力争，于光绪七年（公元1881年）正月二十六日，终于达成《中俄改订条约》（即《中俄伊犁条约》），与崇厚原订条约比较，虽然伊犁西境霍尔果斯河以西地区，仍被沙俄强行割去，但乌宗岛山及伊犁南境特克斯河一带，均已收回，并取消了俄人可到天津、汉口、西安等地进行经济活动的条款，废除俄人在松花江行船、贸易，侵犯中国内河主权等规定。
光绪九年（公元1883年）中法战争爆发后，曾纪泽极力抗议法政府的无端挑衅。主张“坚持不让”，“一战不胜，则谋再战；再战不胜，则谋屡战”。他与法人争辩，始终不屈不挠，并疏筹“备御六策”。
光绪十年（公元1884年）三月，曾纪泽卸驻法大臣职，旋晋兵部右侍郎，仍为驻英俄大臣，与英国议定《洋烟税厘并征条约》。几经周折，终于为清政府争回每年增加烟税白银200多万两的权利。
光绪十二年（公元1886年）六月，曾纪泽携家眷离英返国，帮办海军事务。不久，迁兵部左侍郎，命总理各国事务衙门行走。其间，他关心外交诸事，随时向总理各国事务衙门建议，还改进了驻外公使与国内联系的电报通讯办法。他在外交界享有盛誉，与郭嵩焘齐名，时人称“郭曾”。
光绪十六年（公元1890年）闰二月廿三日，曾纪泽卒于京师户部任内，年五十一岁，谥惠敏。光绪十九年（公元1893年），江南制造总局为其编印遗著。后辑为《曾惠敏公遗集》行世。其名作《中国先睡后醒论》，在当时很有号召力，指出外来的侵略足以“唤醒中国于安乐好梦之中”，中国的“全备稳固可翘足以待”，其文鼓舞人心，足能壮民族之志。