在家重慎畏事，勤於稼穑。兄伯升好侠，非笑上事田作，比之高祖兄仲。年九岁而南顿君卒，随其叔公在萧，入小学，后之长安，受《尚书》经，师事卢江许子威。大义略举，因学世事。朝政每下，必先闻知，具为同舍解说。南阳大人往来长安，为之邸，暗稽疑议。尝讼逋租于大司马严尤，尤见而奇之。宛大姓李伯玉从弟轶数遣客求上，上欲避之。先是时伯玉同母兄公孙臣为医，伯升请呼难，伯升杀之。上恐其怨，故避之。使来者言李氏欲相见款诚无他意，上乃见之，怀刀自备，入见。固始侯兄弟为上言：“天下扰乱饥饿，下江兵盛，南阳豪右云扰。”因具言讠韱文事，上殊不意，独内念李氏富厚，父为宗卿师，语言谲诡，殊非次第，尝疾毒诸家子数犯法令，李氏家富厚，何为如是，不然诺其言。诸李遂与南阳府掾史张顺等连谋。上深念良久，天变已成，遂市兵弩，绛衣赤帻。时伯升在舂陵亦已聚会客矣。上归旧庐，望见庐南若火光，以为人持火，呼之，光遂盛，赫然属天，有顷不见，异之。遂从南郭归宅，乃与伯升相见。初，伯升之起也，诸家子弟皆逃自匿，曰：“伯升杀我。”及闻上至，绛衣大冠，将军服，乃惊曰：“以为独伯升如此也，中谨厚亦如之。”皆合会，共劳飨新市、平林兵王凤、王匡等，因率舂陵子弟随之，兵合七八千人。上骑牛与俱，杀新野尉后乃得马。进围宛城。王莽遣大司徒王寻、大司空王邑将兵来征。更始立，以上为太常偏将军。时无印，得定武侯家丞印佩之。二公兵到颖川，严尤、陈茂与合。尤问城中出者，言上不敢取财物，但合会诸兵为之计策。尤笑言曰：“是美须眉目者耶？欲何为乃如此？”初，莽遣二公，欲盛威武，以振山东。至驱虎豹犀象，奇伟猛兽，以长人巨无霸为垒尉，自秦汉以来师出未尝有也。上邀之於阳关。二公兵盛，汉兵反走，上驰入昆阳，诸将惶恐，各欲散归。与诸将议：“城中兵谷少，宛城未拔，力不能相救。今昆阳即破，一日之间，诸将亦灭。不同力救之，反欲归守其妻子财物耶？”诸将怒曰：“刘将军何以敢如此！”上乃笑，且去，惟王常是上计。会侯骑还，言大兵已来，长数百里，望不见其后尾，前已至城北矣。诸将遽请上，上到，为陈相救之势。诸将素轻上，及迫急，上为画成败，皆从所言。二公兵已五六万到，遂环昆阳城作营，围之数重，云车十馀丈，瞰临城中，旗帜蔽野，尘熛连云，金鼓之声数十里，或为地突，或为冲车撞城，积弩射城中，矢下如雨，城中负户而泣。二公自以为功成漏刻。有流星坠营中，正昼有云气如坏山，当营而陨，不及地尺而散，吏士皆厌伏。时汉兵在定陵郾者，闻二公兵盛，皆怖。上历说其意，为陈天命，请为前行诸部坚陈。上将步骑千馀，前去大军四五里。二公遣步骑数千乘合战，上奔之，斩首数十级。诸部将喜曰：“刘将军平生见小敌怯，今见大敌勇，甚奇怪也！”上复进，二公兵却，诸部乘之，斩首数百千级，连胜。遂令轻足将书与城中诸将，言宛下兵复到，而阳坠其书。二公得书读之，恐。上遂选精兵三千人，从城西水上奔阵。二公兵於是大奔北，杀司徒王寻，而昆阳城中兵亦出，中外并击。会天大雷风，暴雨下如注，水潦成川，滍水盛溢。二公大众遂溃乱，奔赴水溺死者以数万，滍水为之不流。王邑、严尤、陈茂轻骑乘死人渡滍水逃去。汉军尽获其宝辎重车甲，连月不尽。
五月，齐武公拔宛城。六月，上破二公於昆阳。破宛后数日，收伯升部将刘稷，而伯升强争之。更始遂用谮愬，复收伯升，即日皆物故。上在父城，征诣宛，拜上为破虏大将军，封武信侯。更始欲北之雒阳，以上为司隶校尉，先到雒阳整顿宫府，三辅官府吏东迎雒阳者见始诸将过者已数十辈，皆冠帻，衣妇人衣，诸于绣拥衤屈大为长安所笑。知者或畏其衣，奔亡入边郡。见司隶官属，皆相指视之，极望老吏或垂涕曰：“粲然复见汉官威仪。”贤者蚁附。更始以上为大司马，遣之河北。十月，上持节度孟津，镇抚河北，安集百姓。赵王庶兄胡子立邯郸卜者王郎为天子，移檄购求公十万户。世祖引兵攻邯郸，连战，郎兵挫折。郎遣谏议大夫杜长威持节诣军门见公，据地曰：“实成帝遗体子舆也。”公曰：“正使成帝复生，天下不可复得也。况诈子舆乎！”长威请降得万户侯。公曰：“一户不可得。”