原来老洋人派遣的土匪，假扮客商小贩，早已暗携武器，在白天混入城内，此时听见枪响，便乘机动作起来。于是，杆匪大批人马顺利进城。
杆匪们由南向北，沿街见门就砸；砸开后，便放手抢劫；有时，抢罢还放火烧屋。他们进入各大商店后，便把在店的职工抓来，讯问大洋和烟土藏在何处。倪萃恒、倪瑞恒两家钱庄经理不在，汇昌和的经理爬到屋顶躲着，匪徒们就到处敲打，排仓库。排到之后，他们砸开库门，将白的、黑的一掠而空。
在一家茶庄，匪徒排到经理家的两名姨太太。一名姓张的匪首当众就在二人身上摸摸捏捏。一名老职工忍不住说了一声：“造孽啊！”匪首大发雷霆：“你们在这看什么？”厉声喝令全体滚蛋。
老洋人在阜阳不仅搜掠到大批银元、烟土，更大的收获是得到了倪嗣冲藏匿的大批武器——3000多支步枪、13挺机枪、200多万发子弹，甚至还有几门大炮。这对于经过长途跋涉、艰苦战斗的蹚将们来说，无疑是比什么都更宝贵的。临行前，他们还架走了县知事陈祖荫，王普的五弟，阜阳天主教堂神父、意大利人马福波，以及一批男女肉票。
后来，王普的五弟在土匪逃跑时，被带往河南，家人用1000块大洋赎回。
汇昌和钱庄的职员常兴周也被架往河南，因家境不宽，无法筹措1000元，白天被逼着帮助匪徒挑抬赃物，晚上则被吊打、灌辣椒水，两条腿肿得老粗。
后来他谎称近日将送钱来赎，得免再打，遂乘乱逃出。60多名花票被土匪带往豫西，根据家境分别勒赎万元、数千元不等，最低的也需500大洋。有钱人家派人从阜阳到豫西去赎，至于那些城市贫民无钱赎人，最后只得将亲生女儿弃置不顾。
匪徒开始在城南搜劫时，城北尚无动静，保安团士兵正准备集合早操，见有难民跑来，便问何事，得知土匪进城后，竟一古脑儿往北门外溜走。团长倪道煦在睡梦中，连衣裳也未穿好，被两名勤务兵架起来就逃。安武军驻军也早逃之夭夭。直到4日，曾任安武军统领、现任安徽督军马联甲，闻报老上司家乡遭匪，才急令皖北镇守使殷恭先率领25个营的官兵大举进剿。
老洋人见官军人多势众，情知不敌，便下令连夜纵火焚烧阜阳城。一时间，城内火光冲天，在商民一片哭喊声中，数千名杆匪背着、抬着劫掠的财物离开阜阳，于5日拂晓返回河南境内。随后数日内，土匪士气大振，先克息县，架走基督教牧师、美国人巴牧林父子；再陷正阳县，架走基督教伦敦会牧师、英国人贺尔门；继而掘断京汉铁路明港至信阳的一段铁轨；然后沿京汉线北上，相继攻下遂平、郾城等县。每当遇到官兵围剿时，老洋人就下令将抓来的真洋人推向第一线，迫使官兵们不敢开枪，眼睁睁地望着匪徒们呼啸而去。
18老洋人奉命剿匪
三个帝国主义国家的传教士被绑架，引起了列强的抗议，北京政府自然是诚惶诚恐。直鲁豫巡阅使曹锟在保定发出命令，任驻扎河南的陆军第十四师师长靳云鹗为豫省剿匪总司令，负责统一指挥河南省内各军，围剿老洋人。
靳云鹗在北洋军队中是一名比较厉害的战将。11月14日，他指挥所部在汝南县境内，与老洋人杆激战6小时之久，迫使匪众经上蔡县向西南退却。这时，新任河南督军张福来派其嫡系陆军第二十四师一部，自开封南下，进至西华县夹击。吴佩孚的嫡系陆军第三师的一个团也从洛阳南下豫鄂边境，设防堵截。湖北督军萧耀南则派出湖北陆军第一混成旅旅长潘守蒸率两营兵力，沿京汉线北上，至信阳长台关一带助剿。靳云鹗自信剿灭老洋人股匪指日可待，便以剿匪总司令名义通告各军，悬赏缉拿老洋人，生擒者赏现大洋1万元，击毙者赏7000元，能救出外国人的，奖赏从优，加官晋级。
老洋人见己陷入四面重围，形势十分危急，便召集各杆首领商议对策，最后决定化整为零，分散官军力量，打破其合围全歼的计划。他将匪众分为三股。第一股由李鸣胜率领，窜向豫东南大别山区，进入光山、固始等县。
第二股由他和丁保成率领，向西钻入泌阳县境山区中的母猪峡。第三股由张得胜带领，往南进入桐柏山区。这兵分三路的动作，不仅迫使官军分散了兵力，向四下里追击而去，而且彻底打乱了他们原来的部署。到11月底，老洋人、张得胜两大股在官军重新调遣、部署的缝隙间，竟返回豫西会合，活动于鲁山、宝丰、郏县一带，并打出“河南自治军”的旗号，以老洋人为总司令。
12月下旬，靳云鹗亲自率领第十四师官兵，在飞机、大炮、骑兵、工兵的配合下，进驻老洋人控制的几县地盘。杆匪们经过前一个多月的转战，枪械损失很多，子弹也极匮乏；而且因作战死亡、沿途分兵等原因，人数也减少到3000左右，实力大减。但在他们的票房中，外国肉票已经达到7人。这是他们对付官兵的特殊武器——既可用来充作战场上的挡箭牌，也可用“撕票”来威胁官军不得过分追逼。官军所担心的也确在于此，所以靳云鹗在铁桶合围之后，除以飞机示威之外，并不急于发起总攻，而是派人前往招安。
经过几天往返磋商，官、匪双方终于达成协议：老洋人释放所有洋票，匪部改编为正式官军两个游击支队，共12个营，由老洋人、张得胜分任支队长，仍驻宝丰、郏县一带。靳云鹗还举行了接见仪式，并宴请两个支队营长以上的军官。席间，他以关圣爷、岳武穆为例，希望大家忠心报国，并建议每个人姓名的中间一字改为“国”字。靳云鹗当场兴致勃勃地为两个支队长改名，张庆（老洋人）改为张国信，张得胜改为张国威。
靳云鹗任务完成后，便返回防区鸡公山，再也不管什么游击支队了。老洋人以担负剿匪为名，收缴附近各县团防的枪械，吸收其中的人员，借以扩大力量；同时向上催要军饷。靳云鹗答复要他们“就地筹饷”，老洋人便堂而皇之地向当地官府和地主士绅派粮派款。部下有时见猎心喜，往往于夜间外出重操旧业，得手后即悄然返回营房。无论是派粮派款，还是偷鸡摸狗，首当其冲的都是大户人家。这些人往往与县里、省里、洛阳城里的官吏有些关系，他们便联名上书吴佩孚，恳求让老洋人移防。吴佩孚考虑让老洋人离开豫西老巢，可防止他复叛，便令该部“赴豫东就食”。
苏皖鲁豫陕五省军队围攻老洋人
1923年春夏之际，老洋人被任命为豫边游击司令，率部移防豫东归德（今商丘）地区，辖区包括宁陵、柘城、鹿邑、夏邑、永城等县。这一带较豫西略富裕些，该军在此一如豫西，令各乡村交粮交款，每亩地税从往年五角，猛升到一元几角。豫东素来栽种鸦片，老洋人以保护烟苗为名，每亩征收大洋6元。军服全交农妇缝纫，不付分文。