绪字思曼，岱兄子也。父演，宋太子中舍人。绪少知名，清简寡欲，从伯敷及叔父镜、从叔畅并贵异之。镜比之乐广，敷云“是我辈人”。畅言于孝武帝，用为尚书仓部郎。都令史谘详郡县米事，绪萧然直视，不以经怀。宋明帝每见绪，辄叹其清淡。
转太子中庶子、本州大中正，迁司徒左长史。吏部尚书袁粲言于帝曰：“臣观张绪有正始遗风，宜为宫职。”复转中庶子。后为侍中，迁吏部郎，参掌大选。元徽初，东宫官罢，选曹拟舍人王俭为格外记室。绪以俭人地兼美，宜转秘书丞。从之。绪又迁侍中，尝私谓客曰：“一生不解作诺。”有以告袁粲、褚彦回者，由是出为吴郡太守，绪初不知也。
升明二年，自祠部尚书为齐高帝太傅长史。建元元年，为中书令。绪善谈玄，深见敬异。仆射王俭尝云：“绪过江所未有，北士可求之耳。不知陈仲弓、黄叔度能过之不？”
驾幸庄严寺听僧达道人讲维摩,坐远不闻绪言,上难移绪，乃迁僧达以近之。时帝欲用绪为右仆射，以问王俭。俭曰
：“绪少有清望，诚美选也。南士由来少居此职。”褚彦回曰：“俭少年或未忆耳，江左用陆玩、顾和，皆南人也。”俭曰：“晋氏衰政，不可为则。”先是绪诸子皆轻侠,中子充少时又不护细行，俭又以为言，乃止。
及立国学，以绪为太常卿，领国子祭酒，以王延之代绪为中书令。何点叹曰：“晋以子敬、季琰为此职，今以王延之、张绪为之，可谓清官。后接之者，实为未易。”绪长于周易，言精理奥，见宗一时。常云“何平叔不解易中七事”。
武帝即位，转吏部尚书，祭酒如故。永明二年，领南郡王师，加给事中。三年，转太子詹事，师、给事如故。绪每朝见，武帝目送之，谓王俭曰：“绪以位尊我，我以德贵绪。”迁散骑常侍、金紫光禄大夫，师如故，给亲信二十人。
复领中正。长沙王晃属选用吴郡闻人邕为州议曹，绪以资籍不当，执不许。晃遗书于绪固请之，绪正色谓晃信曰：“此是身家州乡，殿下何得见逼。”乃止。
绪吐纳风流，听者皆忘饥疲，见者肃然如在宗庙。虽终日与居，莫能测焉。刘悛之为益州，献蜀柳数株，枝条甚长，状若丝缕。时旧宫芳林苑始成，武帝以植于太昌灵和殿前，常赏玩咨嗟，曰：“此杨柳风流可爱，似张绪当年时。”其见赏爱如此。王俭为尚书令、丹阳尹，时诸令史来问讯，有一令史善俯仰，进止可观。俭赏异之，问曰：“经与谁共事？”答云：“十余岁在张令门下。”俭目送之。时尹丞殷存至在坐，曰：“是康成门人也。”
七年，竟陵王子良领国子祭酒，武帝敕王晏曰：“吾欲令司徒辞祭酒以授张绪，物议以为如何？”子良竟不拜，以绪领国子祭酒。
绪口不言利，有财辄散之。清谈端坐，或竟日无食。门生见绪饥，为之办餐，然未尝求也。
死之日，无宅以殡，遗命“凶事不设柳翣，止以芦葭。车需车引柩，灵上置杯水香火，不设祭”。从弟融敬绪，事之如亲兄。齎酒于绪灵前酌饮恸哭曰：“阿兄风流顿尽。”追赠散骑常侍、特进、光禄大夫，諡简子。
子完，宋后废帝时为正员郎，险行见宠，坐废锢。完弟允，永明中安西功曹，淫通杀人伏法。允兄充知名。
充字延符，少好逸游。绪尝告归至吴，始入西郭，逢充猎，右臂鹰，左牵狗。遇绪船至，便放絏脱鞋拜于水次。绪曰
：“一身两役，无乃劳乎。”充跪曰：“充闻三十而立，今充二十九矣，请至来岁。”绪曰：“过而能改，T氏子有焉。”及明年便修改，多所该通，尤明老、易，能清言。与从叔稷俱有令誉。
历尚书殿中郎、武陵王友。时尚书令王俭当朝用事，齐武帝皆取决焉。俭方聚亲宾，充縠巾葛帔，至便求酒，言论放逸，一坐尽倾。及闻武帝欲以绪为尚书仆射，俭执不可。充以为愠，与俭书曰：
顷日路长，霖霞韬晦，叙暑未平，想无亏摄。充幸以渔钓之闲，鎌采之暇，时复引轴以自娱，逍遥乎前史。从横万古，动默之路多端，纷纶百年，升降之涂不一。故金刚水柔，性之别也；圆行方止，器之异也。善御性者，不违金水之质；善为器者，不易方圆之用。充生平少偶，不以利欲干怀，三十六年，差得以栖贫自澹。介然之志，峭耸霜崖，确乎之情，峰横海岸。至如彯缨天阁，既谢廊庙之华，缀组云台，终愧衣冠之秀。实由气岸疏凝，情涂狷隔。独师怀抱，不见许于俗人，孤秀神崖，每邅回于在世。长群鱼鸟，毕景松阿。虽复玉没于访珪之辰，桂掩于搜芳之日，泛滥于渔父之游，偃息于卜居之会，如此而已，充何识哉。
若夫惊岩罩日，吐海逢天，竦石崩寻，分危落仞。桂兰绮靡，丛杂于山幽，松柏阴森，相缭于涧侧。元卿于是乎不归，伯休亦以兹长往。至于飞竿钓渚，濯足沧洲，独浪烟霞，高卧风月，悠悠琴酒，岫远谁来，灼灼文言，空拟方寸。不觉郁然千里，路隔江川，每至西风，何尝不叹。丈人岁路未强，学优而仕，道佐苍生，功横海望，可谓德盛当时，孤松独秀者也。而茂陵之彦，望冠盖而长怀，渭川之甿，伫簪裾而竦叹，得无
惜乎。