到9月2日，晋冀鲁豫野战军主力已休整了4天。敌整编第三师与第四十七师已受到杀伤和消耗，仍然缓缓前进。整编第三帅进到秦寨、桃园地区，整编第四十七师到了水口、吕寨地区。
这时，刘伯承获悉刘峙突然将整编第三帅和第四十七师会攻定陶的计划，改为整编第三师单独攻菏泽。两帅的间隔从20里扩大到25里，而且越往西间隔越大。于是决定调整部署，把战场西移到韩集、安陵集以西的大、小杨湖地区。经过各阻击部队的积极作战，徐州来犯的敌主力第五军、整编第十一师被阻于单县以东，距整编第三师200余里。郑州出犯的整编第四十一师，被阻于东明西南地区，距整编第三师80余里。整编第五十五、六十八师被阻于曹县以南，距整编第四十七师40余里。围歼整编第三师的条件已趋成熟。
9月3日晨，刘伯承命令放手诱敌整编第三师冒进，争取使它3日夜到达大、小杨湖预定战场，然后两集团按计划攻歼该敌。
当天下午，整编第三师果然被牵引到了预定战常其第三旅进至大黄集、周集地区，第二十旅进入阎寨，大、小杨湖，方车王地区，师部进抵天爷庙。
师长赵锡田自恃是蒋介石的嫡系，兵精弹足，装备优良，根本看不起晋冀鲁豫野战军，狂妄吹嘘“不用两星期，占领鲁西南”。又仗着是陆军总司令顾祝同的外甥，认为郑州绥靖公署和左右两翼的整编第四十一、四十七师不敢不支援他，所以一味孤军深入。
当夜23时30分，刘伯承抓住战机，下令对整编第三师发起进攻。当获悉敌第二十旅在前进中伤亡较大，两个团长都被击毙的情况后，他又确定先把攻击重点放在第二十旅。两集团各歼其1个团后，再攻歼其师部和第三旅。
这样，双方兵力对比上，达到了四比一的绝对优势。
敌人在飞机、坦克配合下顽强抵抗。经两日激战，仅歼敌约3个营。这时，赵锡田方知陷入绝境，拼命向郑州呼救。刘峙严令整编第四十七师增援，被阻援的第三纵队击退。敌整编第四十一、五十五、六十八师亦分别由东明、曹县奉命赶来增援。在此千钧一髮之际，刘伯承除严令各路阻击部队坚决阻击，不准敌人前进外，于9月5日夜，亲自到第六纵队司令部，召集纵队首长开会，提出坚决歼灭整编第三师，再次强调了集中兵力、火力等战术问题。
随后，即下令再次向整编第三师发起攻击。
刘伯承在第六纵队司令部接到的第一个电话，是已经前进到距大杨湖只有1里路的第六纵队司令员王近山打来的。他说：“报告刘司令员，请你放心，我们准备好了一切。坚决歼灭整三师。六纵队即使打剩一个连，我当连长，杜义德当指导员，决不放弃战斗！我要求战士们把自己的子弹、手榴弹统统打到敌人身上去，最后就是用牙齿咬也要把敌人咬死。”
刘伯承鼓励他：“近山同志，你的决心很好！这一仗如若我们打不好，冀鲁豫平原我们就站不住！还要背起包袱回太行山啊！你们今晚上的任务很艰巨，只要消灭大杨湖的敌人，战役将有很大的变化。”
然后，他又拿起电话，听了第七纵队杨勇司令员的汇报之后说：“杨勇同志，冀鲁豫解放区，是你们亲自创建的，是你们用血汗从敌人手中夺过来的。现在敌人要侵占它，假若我们不把这股敌人消灭，这里的人民就要遭殃，你们就前功尽弃！”杨勇非常激动地大声说：“刘司令员，我懂了，我们一定要彻底消灭整三师！”
最后，他又同第二、三纵队的陈再道、陈锡联两位司令员一一通了电话，指示他们要不惜一切代价，向整编第三师展开猛攻，并特别告诫陈锡联，要集中兵力狠打整编第三师师部，以先摧毁敌首脑机关。他强调指出，这一仗要是打不赢，第二、三纵队只好回冀南、太行打游击。两位司令员也表示了坚决完成歼敌任务的决心。
当夜23时30分，刘伯承下令全线总攻击。左右两集团随即投入了激烈的战斗。第六纵队打得最为残酷、艰苦。他们负责攻歼的整编第三师第二十旅第五十九团，是该师的主力，抵抗十分顽强。各种武器射出的子弹形成一道道严密的火网，阻挡着攻击部队进入大杨湖村。第六纵队指战员发扬了大无畏的英雄气概，连续发起攻击，失利一次，再攻一次。有的连队打得仅剩10多人，仍坚守阵地不退。战况最紧张的时候，连旅、团的机关干部和勤杂人员也投入了战斗。
刘伯承亲赴第六纵队指挥的行动，给指战员们增添了无比的力量。“刘司令员指挥我们！”“看准是无产阶级硬骨头！”等激动人心的口号，在一片火海之中喊起来。团长、政委也都端起机枪干起来。9月6日晨5时，王近山决心倾全力给敌人以最后一击，下令纵队预备队加入战斗。战至8时，终于攻进大杨湖村，全歼了守敌。
这时，第二、第三、第七纵队，也胜利地歼灭了敌人，逼近了敌人的师部。敌第二十旅被全部歼灭，第三旅遭沉重打击。到中午，赵锡田率师部及其第三旅残部，开始突围南逃。正当敌脱离工事，惊慌逃命之际，刘伯承一声令下，攻击部队全线出击，整编第三师全部覆灭。
9月7日，郑州出犯之敌，纷纷向兰封，考城方向撤退。刘伯承当即以主力向敌整编第四十七师侧背施行猛烈卷击。经1天激战，该师第一二七旅及整编第四十一师第一二