李宗仁和白崇禧认为，眼下形势有利于日军利用机械化部队和飞机优势集中进攻，我军的装备和兵力只可利用地形打阵地战、歼灭战，不宜进行徐州保卫战。
若盲目与敌人拼消耗，将重蹈淞沪、南京战役覆辙。
这时第九军团高霆也给蒋介石提出了自己对战局的看法，竟与李、白二人不谋而合。
李、白将意见报告给蒋介石，蒋也收到情报部关于日军向徐州增兵40万的报告。
5月15日，国民政府军事委员会经武汉最高军事会议决定弃守徐州。
16日，第五战区下令各部队分别向豫、皖边界山区突围。
17日，蒋介石命令一战区所属部队完成接应突围部队的任务。
18日午夜，李宗仁率战区司令部放弃徐州，经宿县向西南方向撤退。
19日上午，第68军掩护各部撤退之后放弃徐州。
于是，狭义的徐州会战在布局阶段的中后期就结束了。
就在中方部队开始突围之际，日军土肥原所部第14师团约2万人为切断中方退路和阻止一战区援军增援强渡了黄河。
此举虽然对中方形成威胁，但由于其他日军尚未合围，而陇海线附近中方有6个军12万人，土肥师团反成孤军深入之势。
程潜（一战区代总司令）认为“就是吃也能把土肥原吃掉“。蒋介石匆匆飞往郑州，到程潜负责的第一战区指挥部，决定亲自指挥豫东战役，歼灭土肥师团。
5月23日，土肥师团开始向兰封突围，第七十一军88师师长龙慕韩擅自抗命，弃守兰封。
程潜迅速调整部署，再次围困土肥原。
正当程潜乐观预计，再有两三天时间就可望全歼土肥师团之际，黄杰第8军无视薛岳命令弃守商丘。
结果，由于蒋介石两个嫡系将领的贪生怕死、临阵脱逃，中方有计划地投入的15万精锐部队，却未能歼灭土肥师团的2万人马。
并且，更糟糕的是，蒋介石和程潜刚放弃围歼，土肥师团立即反扑，重新占领了兰封。
29日商丘沦陷后，开封、郑州甚至武汉都岌岌可危。连蒋介石自己也不得不在5月28日给程潜的密件中说：兰封战役是“在战史上亦为一千古笑柄“。
有人问，蒋委员长为什么不启用高霆的第九军团耶？如果启用第九军团，恐怕土肥原的日子不好过。
事实上，高霆的第九军团正是接应徐州撤退的第一战区部队，他的一个军（第9军）成功地将徐州突围出来的国军部队接应了出来。
但却没有接到围歼土肥原的指令，因而坐失良机！
为了阻止土肥师团，缓解兵败如山倒的势头，蒋介石于5月31日夜晚做出一个重大决策：掘开黄河大堤，“以水为兵“，阻止日军。
很多人都不知道，这条发生在三国时期的“水淹七军”之计会在现代重演。
实际上，这个方案由来已久。
早在1935年，受聘于南京政府的德国军事顾问团总顾问法肯豪森，就向蒋介石提出了利用江河阻敌的建议。
保存在中国第二历史档案馆的这份建议书中文译稿上，有蒋介石对于“最后的战线为黄河，宜做有计划之人工泛滥，以增厚其防御力“一段的眉批:“最后抵抗线“。
1936年7月，法肯豪森第二次提出了决黄河以阻敌的建议。
1938年4月13日，徐州会战突围之际，陈果夫也曾写信给蒋介石，主张在河南武陟县的沁河口附近决黄河北堤，“以水反攻制敌“。
1938年5月26日，豫东战役溃败之际，时任湖北省主席的何成浚致电蒋介石：“现黄河已届桃汛，倘施工决口，则黄河水即循故道直奔徐州，不特大地泛滥使敌机械化部队失其效能，抑且足以摧毁其战斗力，使其打通津浦之企图仍归泡影，幸及早图之。“
5月31日，蒋介石与水利专家协商之后，正式决定掘堤。
6月1日，蒋介石在武汉召开最高军事会议，正式宣布在豫东战略撤退，同时令第一战区司令长官程潜，下令商震第20集团军负责开掘黄河大堤，阻止日军前进。
商震则命所部第39军军长刘和鼎具体负责。
3日，土肥师团已迫近开封，蒋介石怕开封失陷，再掘黄河就来不及了，就急忙打电话催促程潜“要打破一切顾虑，坚决去干，克竟全功“。
4日清晨，商震部第53军第1团奉命在中牟县境内大堤较薄的赵口掘堤。
但是，接连两处决口和坑道作业均失败。
又改在赵口以东30米处重新掘口，仍告失败。
6月5日，日军已经攻至开封。包括蒋介石在内，从上到下都焦急万分。
直到6月6日上午7时，新编第8师师长蒋在珍携参谋熊先煜一同前往赵口视察，才发现“决堤进展不顺并非人力不够，而是计划不当所致“。问题关键在于选址错误。
赵口流沙太多，当时河水流量也不够大，掘口很快被流沙淤积堵住。
蒋在珍随即建议在中牟以西郑县自己防区内另辟一处挖掘。
此请求经商震报请蒋介石批准后，当夜开始实施。
掘口地址最终选定在赵口以西的花园口附近，由新第8师第2团、第3团以及工兵连负责执行，用圆锹、十字镐、钢钎、箩筐、土箕、木杠等构筑挖战壕的常用工具挖掘。
为赶在日军攻下郑州之前破堤，8日晚11时，商震还特别派参谋处长魏汝霖到掘口现场慰问，并做出悬赏：“如于本夜24时放水，奖法币2000元；如明日午前6时完成，则奖1000元。“
到9日清晨6时还没挖开，便决定改用炸药和平射炮轰炸黄河大堤。
9时，轰炸成功，出现一个宽约4米的决口，流经决口的河水逐渐增多，决口也逐渐被水流冲宽，一个小时后达到10米。
到下午1时左右，水势已“似万马奔腾“，“远望一片汪洋“，且决口还在“因水势之急而溃大“。
截至晚上8时，“掘口处被水冲开，已达40尺，水深丈余，浪高三尺。“
虽然最后放水时间已经超过了商震悬赏的“午前6时“，但商震仍认为新第8师“劳苦功高……当奖2000元“。
花园口决堤后，黄河水经中牟、尉氏沿贾鲁河迅速下泄。第二天，黄河中上游普降暴雨，水量猛增，决口处进一步被冲大。
同时，先前被淤塞的赵口决堤处也被大水冲开。赵口和花园口两股水流汇合后，贾鲁河开始外溢，漫溢的河水冲断了陇海铁路，浩浩荡荡向豫东南流去。
西边一路沿颖河下泻淮河，东边一路沿涡河到安徽怀远流入淮河。
黄、淮合流后涌入洪泽湖，淮河、洪泽湖沿岸立即变成了一片汪洋。
就在花园口破堤的同时，日军攻陷了距郑州30公里的中牟，土肥师团先头部队1500人与日军第16师团3000多人已经开始向郑州进犯。
然而从天而降、一望无际的黄河水，使日军官兵进退维谷、不知所措。
由于西撤部队在撤退的时候还随之破坏或拆除了陇海铁路路轨，12日又炸毁了新郑平汉线铁路大桥，日军的撤退困难重重。
突入豫东地区的日军，有的来不及逃脱而被洪水湮没，有的为伤病所累而被丢弃，还有一部分为中国军队所歼灭，其他的只好停止追击，集结于黄泛区以东。
史料显示，当时被黄河水围困的日军前锋情形相当悲惨：
这是一条因黄河决堤而形成的河，走在我前面的士兵在夜色中过了河。
渡过河之后，却不知该向哪个方向前进。不知哪边是浅滩，但总之必须过河……
士兵们一发现一点食物，就像猫叼着鱼躲到角落里那样，隐藏起来一个人独自享用。
我们到处转来转去找食物，早田里开始还有土豆种，不过，没几天就被吃光了。
把南瓜秧弄来煮着吃，但马上就被各分队抢光了。很快田地里没有一点可吃的东西了。
洪水又切断了我们前后的道路，一连过了好几天，粮食都没有送来。
一一以上是一位日本老兵战后在回忆录中所叙。
一位叫安庆福的老人回忆说，他亲眼看见日军像湿毛狗一样大批大批地逃跑，有几个伤兵不能跑了，就被他们的同伴绑在椅子上，一个个绑得像杀猪一样结实，在麦场上放着。
不一会，他们身上就被浇上汽油，然后点燃木柴往他们身上扔，呼一声，火蹿得老高，几个伤兵在椅子上哇哇大哭大叫，意思是还能为天皇效力。
还看见一些日本兵都低着头，不敢抬头看。也不知道这些被活活烧死的士兵是不是逃兵。
炸毁花园口大堤，虽然成功阻滞了日军西进势头，保护了中国军队主力部队，但也给这一地区广大的中国民众带来了巨大灾难。
花园口掘堤时，蒋介石以军事机密为借口严密封锁消息，只有极少数高级将领和负责挖掘的官兵知道。
因为没有通知下游的老百姓疏散和迁移，仅有附近4个村庄的群众闻讯挖堤后匆匆转移。
当时，连负责挖堤的官兵都能够一眼看出掘堤将给下游群众造成严重危害。
据时任郑（州）中（牟）河防司令部作战科科长的卢继东老人回忆：
在决堤前，参与掘堤的工兵营营长黄映清来到河堤上的一座关帝庙里，对着红脸长须的关公磕响头，热泪长淌地祷告：
“关老爷，中华民族眼下遭了大难，被日本鬼子欺侮得惨。我们万般无奈，只好放黄河水淹，淹死了老百姓，你得宽恕我们。“
这样一说，情绪悲伤的官兵们“齐刷刷“地全跪在地上，面向波涛汹涌的黄河，放声大哭……