张作霖决定联直反冯，并不是他对直系有多少好感，而是形势使然，1925年10月至1926年3月的民国局势一片混乱。先是实力最强的直系在第二次直奉战争中被张作霖与冯玉祥联手干掉了，直接导致了吴佩孚直系势力的土崩瓦解。继之而起实力最强的就是张作霖了，可惜好景不长，冯玉祥与南方直系残余孙传芳联手，再加上郭松龄兵变，张作霖好好的一统江山局面顿时化为乌有，丢掉了江苏、安徽、北京、直隶等地盘，实力也大幅下降，再次退回关外。至1926年年初，实力最强的势力已经变成冯玉祥的国民军了，此时的冯玉祥南与国民党的广东革命政府联系，北靠苏联老大哥，雄踞北方，虎视眈眈，正打算一战而取山东，彻底打跨张作霖安在关内的棋子张宗昌。在共同的威胁面前，张作霖不得不与曾经左看右看也不顺眼的吴佩孚联手了。
吴佩孚虽然东山再起，但是却没有自己的嫡系部队，借助的主要还是萧耀南的鄂军。1926年2月14日，萧耀南突然病卒。吴佩孚以“联军总司令”的名义任命陈嘉谟为湖北军务督办，杜锡珪为省长，至此才算真正掌握了湖北的军政大权，拥有了自己的一支军队。此外，1925年年底，靳云鹗从国民军二军岳维峻手上收回了原为直军，后被迫投降冯玉祥的田维勤、王为蔚、陈文钊三个师，两方面的部队相加，吴佩孚总体上已经拥有了一定实力。
1926年1月4日，吴佩孚在汉口召集军事会议，讨论“结束”讨奉问题，将讨奉改为讨冯。1月26日，吴佩孚派鄂军第一师寇英杰部由鄂北向豫南进攻。2月4日，靳云鹗率部从鲁南进兵豫东。与此同时，刘镇华又重新依附于吴佩孚，并奉吴佩孚命令由陕西安康进攻豫西。
此时，国民军二军领军人物胡景翼已经病死，原来的国民军冯玉祥、胡景翼、孙岳三角联盟因为胡景翼的死而塌掉了一角。胡景翼的继任者岳维峻虽然仍坚持三角联盟的政策，但其威信不足，国民军二军名义上有部队七个师、二个混成旅、二个预备旅，但岳维峻真正能依靠的只有邓宝珊第七师以及另两个混成旅。名义上依附国民军二军的樊钟秀部，不仅占地割据，且由于进攻张宗昌失败，在新败之余战斗力大减。米振标的毅军本来就是属于吴佩孚的部队，看到吴佩孚卷土重来，声望很高，与岳维峻更是离心离德，做好了两手准备。此时的国民军二军形势严峻，虽然兵多将广，但在战略上已被南边的直系、东边的直鲁联军和北边的阎锡山从三面包围，可叹岳维峻自恃兵多，对严峻形势依然认识不足。
吴佩孚派兵进入河南后，岳维峻于1926年1月13日在郑州召集紧急军事会议，决定派陕督李云龙为豫南总指挥。派蒋世杰率第十一师进驻信阳，加强豫南防御；命李纪才部从鲁豫边界回师归德，田玉洁部速从山东济宁撤回郑州。吴佩孚的北进，从客观上减轻了山东张宗昌的压力，从而扭转了张作霖整体的颓势局面。1月26日，寇英杰部猛攻河南信阳，遭蒋世杰部全力抵抗。寇部攻占信阳火车站后遇到蒋部伏击，伤亡惨重，遂退出火车站而包围信阳城。29日，寇军攻入信阳东门，又被守军击退。2月6日，寇军又攻入信阳南门，但仍被国民军二军击退。同一天，岳维峻派田生春、杨瑞轩两旅前去增援。但此时驻扎在信阳以北彭家湾的米振标部突然投降了吴佩孚，并派兵阻止田生春、杨瑞轩两旅的增援。2月10日，吴佩孚因寇英杰久攻信阳不下，调刘玉春、宋大霈两旅助攻信阳，使直军又一次攻入城内。但是，田生春、杨瑞轩两旅绕过米振标部而增援信阳，将直军赶出。吴佩孚无奈，只好派兵一部，继续围城，而令寇英杰部另攻确山，以断信阳后路。
1926年2月12日，靳云鹗率部进攻豫东，从孙传芳控制的徐州借路通过，沿陇海路进兵。2月17日，国民军二军驻商丘的郭振才部向靳云鹗投降。2月19日，靳云鹗与守柳河之国民军二军田玉洁部激战，于2月21日攻占柳河，25日攻占兰封。2月27日，河南军务帮办米振标迎靳云鹗下属王维城部进入开封。岳维峻被迫向郑州退却。
直军大举进攻河南后，国民军二军急调邓宝珊师、史可轩旅从直隶回援。2月中旬，邓部赶到驻马店，会同李云龙、樊钟秀等部抵抗寇英杰的进攻。但是，由于各部将领意见不一，李云龙负气率部返回郑州。加上靳云鹗进军神速，先后攻占了商丘和柳河，大军压境之下，邓宝珊部十四旅旅长刘继邦阵亡，驻马店失守。3月1日，寇英杰攻占郾城、许昌，进逼郑州。
2月26日，岳维峻在郑州召集军事会议，商议应急之策。李培蕡、郑思成等主张全军退往直隶，名义上仍为陕西督办的李云龙主张退往陕西。会议进行了三天竟然议而不决。这充分说明了胡景翼死后岳维峻威信不足导致的被动局面，万般无奈之下，岳维峻决定分兵撤退，各部自行其是，这个决定给国民军二军带来了灭顶之灾。当时，国民军二军兵力尚有十万之众，如果全力迅速北撤，与国民军一军、三军、五军连成一体，完全有可能抗拒直军的进攻并保存二军的实力，在战略上也是最可取的。但是，只有李培蕡、郑思成、史可轩、高桂滋等旅于3月1日沿京汉线顺利撤退。其他各部则因为种种原因而延误了撤退时间。3月2日，靳云鹗军占领郑州。3月4日，寇英杰与靳部会师，岳维峻乘火车逃至洛阳。3月5日，直军攻占洛阳、新乡。与此同时，一直按兵不动的阎锡山突然从山西出兵占领了石家庄，切断了国民军二军诸部北上的道路，魏益三也突然变更旗号脱离了国民军，从而造成了国民军二军的军心动摇乃至崩溃。除原在黄河北岸驻防的弓富魁旅转战津浦线与国民军一军会合外，其余各部均被直军收编或溃散。
由于支持河南作战，陕督李云龙的大部兵力都调往了河南，留在陕西的国民军二军兵力不多，此时已依附吴佩孚的刘镇华镇嵩军旧部柴云升趁机攻占潼关。王振部则趁机占据了函谷关，完全断绝了国民军二军西去陕西的退路。但李云龙因为不愿意失去其在陕西的地盘，仍坚持离开洛阳西撤往陕西，于是岳维峻率十万大军蜂拥西奔。3月6日，军心严重动摇、战斗力十不存二的国民军二军主力在陕州、灵宝一带被红枪会及刘镇华所部击溃，死伤积野。岳维峻部将冯子明、胡景铨等被击毙，7万余众均被缴械。岳维峻只身渡过黄河逃入山西，被阎锡山拘禁。李云龙化装逃回了陕西。至此，国民军二军全数覆灭。
此时，蒋世杰部仍在信阳据城死守。他曾三次组织突围没有成功，直军也一直没能将信阳攻下。3月14日，蒋世杰在得知国民军二军全军覆灭后才向直军投降。他本人被吴佩孚聘为总参议，所部九千余人被遣散。蒋世杰在信阳抵抗直军进攻达48天，开创了民国军阀战争史上孤城死守的先例。信阳城大半毁于战火。居民被打死一万余人，被饿死四千余人。全城居民人口由六万余人减至三万余人。
直军占领河南后，吴佩孚任命寇英杰为督办，靳云鹗为省长。至此，他完全控制了鄂豫两省，声势大涨。
国民军二军的失败，不仅使冯玉祥、孙岳的国民军一军、三军势单力孤，而且失去了南面的屏障。吴佩孚的军队沿京汉线北上，长驱直入，与奉军、直鲁联军形成了对京津三面的围攻之势。可以说，吴佩孚指挥的河南之战，成为扭转整个战局对比的关键。此战之后，直奉联军已稳稳占据上风，接下来，张作霖还要联合吴佩孚继续进逼国民军，因此又发生了南口之战。