在鲁中，山东纵队第一、二、四支队一直活跃在沂蒙山区和泰山区，多次粉碎日伪军的扫荡。
他们进行了五井反击战、孙祖伏击战、杨家横包围战等著名战斗，扩展了鲁中区西南部的泰、泗、宁边区和北部淄河流域根据地，巩固扩大了临费边区，与鲁南、滨海、清河等区打通或加强了联系。
在鲁东南，特委和山东纵队第二、九支队积极创建根据地，到1940年底，新开辟了18个区、600多个村庄，莒县、日照以南，陇海铁路以北，沭河以西，黄海以东的鲁东南根据地正式形成。
在湖西，苏鲁豫支队和第三大队转战陇海路南北，多次粉碎日军的“扫荡”，还反击了朱世勤、冯子固等顽、投势力两万余众的联合进攻，逐渐稳定了该区形势，巩固了微山湖东西两岸大片地区，并北向金乡、巨野间开辟了部分新区。
苏鲁豫支队和山东纵队陇海南进支队等部还开辟了苏皖边区抗日根据地，后划归中原局领导。
1939年8月1日，八路军第一纵队正式成立。徐向前和朱瑞分别任司令员和政治委员，加强了山东的统一军事领导。山东纵队各部队在鲁中、鲁东南、清河、胶东等地大力开展游击战争，扩大了根据地。
小山战斗：1939年5月1日，山东纵队命令四支队抽调4个主力连组成南下挺进支队，赴邹县以东山区开辟工作。
7月15日，进至邹（县）滕（县）泗（水）曲（阜）交界的立山、小山一带。
23日拂晓，日伪军1000余人，分四路向小山围攻。
南下挺进支队英勇反击，战斗从拂晓持续到黄昏，先后打退敌人20多次进攻。特别是扼守山头的战士更加顽强，高喊“中华民族万岁”的口号与敌人展开肉搏。
这次战斗，毙伤日伪军200多人，南下挺进支队78人壮烈牺牲。
刘家井战斗：1939年5月下旬，山东纵队第三支队按照上级指示，在邹平县刘家井一带集结，准备进军章丘一带。
6月6日，日伪军2500余人，向驻刘家井一带的第三支队进犯。敌在受到打击后，又迅速调集3500余人增援，并配备汽车100多辆、骑兵150余名，向第三支队疯狂攻击。
第三支队指战员在司令员马耀南、副司令员杨国夫指挥下，固守围墙，坚决抗击，激战竟日，黄昏时分散突出重围。
这次战斗毙伤敌七八百人，其中毙敌417人，打击了敌人的嚣张气焰。
1939年6月鲁中地区反“扫荡”：1939年6月1日至7月14日，日军2万余人，以沂蒙北部东里店为中心，采用长驱直入、分进合击的战术及多路逐段展开与逐段合击的形式，对鲁中山区发动第一次大“扫荡”。
至7月中旬，日军占领莒县、沂水、蒙阴及东里店、鲁村等重要城镇，继而向沂蒙腹地反复进行分区“扫荡”，并安设大量据点，割断了鲁中和鲁东南、鲁南的联系。
为粉碎敌人的“扫荡”，山东纵队各部广泛开展游击战。在近两个月的反“扫荡”中，各支队多次避开敌之合击，打击敌人20余次，共歼灭日伪军1000余人。
五井战斗：1939年10月25日，山东纵队第一支队在司令员何挺副司令员钱钧指挥下，在临朐县西南的五井反击来犯的日伪军，激战1日，毙日军300余人、伪军700余人，俘日军1人、伪军40余人，缴获迫击炮1门、重机枪1挺、轻机枪4挺。
《大众日报》发表了《庆祝临朐大胜利》的社论，称赞五井战斗为山东抗战两年来最模范的胜利战斗。
孙祖战斗：1940年3月16日晨，日军300余人、伪军100余人向沂南县孙祖进犯，妄图袭击中共中央山东分局及八路军第一纵队指挥机关。
在徐向前指挥下，山东纵队第二支队司令员孙继先率二支队及其它部队，在孙祖附近九子峰伏击敌人。激战1天，当夜逼迫敌退入孙祖村。
第二支队等部又连续两夜袭击敌人。残敌不支，仓皇逃遁。此次战斗，第二支队等部击毙日军指挥官小林以下120余人，伤70余人，缴步枪30余支及大批作战物资，并乘胜收复铜井据点。
杨家横战斗：1940年5月中旬，日军1000余人“扫荡”泰山区。19日，八路军山东纵队第四支队主力在廖容标、胡奇才指挥下，于莱芜县东北的杨家横伏击敌军一路，激战1天，毙伤日军200余人，俘3人，残敌逃窜，缴大批武器弹药，获重大胜利。
鲁中军民粉碎敌“九·一八大扫荡”：1940年9月18日，日伪军出动1万余人，向鲁中根据地发动大“扫荡”。
日伪军对莱芜县北之雪野、茶叶、抬头等中心区域烧杀抢掠达1周之久，野蛮摧残根据地，泰山区蒙受重大损失。
张店到博山铁路以西地区也遭敌残酷“扫荡”，形势急剧恶化。
陈士榘率一一五师独立支队，在费北（蒙山东南）与1000余名日军展开激战。在根据地军民的打击下，敌人的“扫荡”终于被粉碎。
山东纵队在广泛开展游击战争中多次进行整训，到1940年秋时，辖有4个旅、4个支队和2个直属特务团，共5.4万余人。
山东地方武装和人民武装也发展起来，到1939年底，山东抗日根据地武装自卫团已达10万余人。
下面，本章具体介绍孙祖战斗的情况。
孙祖，是沂南县西南部的一个小镇，处于西北－一东南走向的山峪中，北依荆山，南靠九子峰。
九子峰海拔236米，有9个山头相连并峙，因而得名。峪底地势平坦，孙祖河经村前东流。这一带地形隐蔽，成为山东党政军领导机关驻地。
1940年春，八路军第一纵队司令部驻孙祖南4里处的东高庄，大众日报社驻孙祖西南5里处的西高庄，山东分局党校驻孙祖西北的东铁峪。
1940年3月15日，沂水、莒县、朱位、东里店、铜井等据点的日军300多人、伪军200多人，向孙祖一带根据地进犯，企图偷袭八路军纵队领导机关，捣毁抗日民主政权，掠夺群众财物，实行所谓“以战养战”。
八路军第一纵队司令员徐向前抓住战机，决定歼灭来犯之敌，弃亲自部署指挥作战。
此次参战部队有山东纵队第二支队、纵队警卫团及地方武装等，还有到此护送黄金的于得水率领的胶东第五支队交通营，也参加了战斗。
徐向前指出：“敌人这次的行动路线是过荆山，经孙祖，穿九子峰，继续向南。你们要把主力放在九子峰，给敌人以迎头痛击。敌人受挫后，必然强攻，你们要坚守阵地，给敌以狠狠打击。敌人的嚣张气焰被打下去之后，定会退守孙祖，你们要集中优势兵力，乘胜追击。这时，敌人就会顺着来路逃窜，埋伏在荆山的警卫团要断其后路。一定要在这里把它彻底消灭！”
部署完毕，孙继先等率山东纵队第二支队飞速赶往孙祖，其他各部也迅速进入阵地。
3月16日拂晓，敌人在抢劫了孙祖西北的代庄、大平一带后，经西铁峪向孙祖进犯。
行进到九子峰下时，埋伏在九子峰上的第二支队九连战士迅速运动到山下，突然给敌人以猛烈袭击。
八路军的突然动作，使敌人措手不及。敌人慌了，人马乱作一团，四处奔逃。
这时，埋伏在周围几个小岭上的战士，一齐开火。霎时，枪声大作，火光四起，手榴弹密集地投向敌群炸响。
敌人迫不得已，只好就地组织进攻，他们兵分两部，一部在大路附近找到一块隐蔽地反抗；另一部冒险过河，企图占领河南岸一带山岭。
双方展开了激烈的争夺战。在伏击部队的猛烈射击下，敌人血肉横飞，许多被打死的骡马也横倒在沙滩上。
敌人不敢恋战，迅速收拢人马，妄图从西南方向冲开缺口逃脱。
见此情况，孙继先赶快命令一连即刻从南山脚下迂回到敌人后面，又命令二连迅速占领北面的小山，堵住敌人的退路。
凶恶的敌人见无路可走，不得不掉转回头，再次抢夺九子峰，妄图冲破包围圈。
守卫在九子峰西头的九连指战员，沉着等待。当冲来的敌人离阵地只有30米左右时，连长曲平安紧握拳头喊了声：“打！”
随即，枪声、手榴弹爆炸声和战士们的怒吼声交织在一起，令敌人闻风丧胆！在烟雾弥漫中，敌人倒下一片。
敌人不甘心失败，在激烈的炮火掩护下，接二连三地往上冲。当敌人将要冲上山头，九连战士枪上刺刀准备与敌肉搏时，敌人一颗炮弹打来，曲连长身负重伤倒在血泊中。
几个战士赶忙要架他下火线，他坚决不肯。他强忍剧痛，吃力地坐起来，指挥战士与敌人搏斗。就这样，他们先后打退了敌人的七次进攻，守住了阵地。
时近中午，纵队司令部参谋处长罗舜初来到前沿阵地，了解战斗情况和兵力部署，慰问指战员，并指出：“今天下午还会有场恶战，你们只要能坚持到黄昏，就可以全线出击。”
下午1时，敌人集中了所有兵力，更加疯狂地反扑。敌人倚仗大量重武器，以密集的炮火来对付八路军。炮火燃着了山上的野草、树木，顿时烈焰蔓延，浓烟滚滚，熏得战士们睁不开眼，透不过气。
这时，敌人借着浓烟烈火，冲上山顶。战士们纷纷端起刺刀，与敌人展开肉搏，迫使敌人节节败退。
指导员孙秀泉喊了声：“同志们，杀啊！”带头冲下山去，追歼敌人，不幸被敌人的子弹穿透胸膛，壮烈牺牲。
黄昏时分，徐向前下达了全歼敌人的命令，战士们如虎添翼，冲下山来。
坚守在九子峰的三连一排排长李前仁，带头冲进山坡下敌人占据的一间小屋。
这时敌人已退守到这一带壕沟，李前仁迅速带领几个战士迂回到壕沟左侧，沿山坡摸下去，只见一伙敌人正在逃窜。
李前仁赶忙掏出手榴弹掷了过去，手榴弹一颗接一颗地爆炸，敌人发疯似的嚎叫着转回身来，机枪、步枪一齐扫来，李前仁冒着敌人的枪弹，端着刺刀扑上去，接连刺倒了几个鬼子。
当他拔出刺刀正要继续往前冲时，不料身负重伤，倒在血泊中，壮烈牺牲。
入夜，八路军数次冲入敌人阵地，与敌展开白刃血战。日军死伤惨重，被迫退入孙祖镇固守待援，八路军又将孙祖团团围住。
17日夜，八路军发起攻击，残敌支持不住，便大肆放火，烧民房20余间，将沿途抢劫的粮食、财物全部销毁，遂拼命向北逃窜。
敌人逃出不远，便遭到我纵队警卫团和地方武装的伏击，大部被歼。八路军趁铜井敌伪据点空虚，又一举收复铜井。
战斗中，孙祖附近的抗日民众自动组织起担架队、运输队、情报队，送茶送饭，送情报，运伤员。
战斗打响后，西高庄的拥军模范胡大娘仍坐在门口纹丝不乱地烧着茶水。有人劝她赶快避开，她却坚定地说：“我走了还行吗，前线的同志没有水喝，怎么能打胜仗呢！”
她坚持把水烧开，冒着枪林弹雨，提着水壶给战士们送水。
此战，击毙日军指挥官小林及炮兵中尉队长以下120余人，击伤70余人，俘伪军11人；缴获小车60余辆，军马5匹，大盖枪20余支，及其他军用物品一宗。八路军有110名指战员牺牲、负伤。
战后，中共山东分局和八路军第一纵队在孙祖召开祝捷大会，山东分局书记朱瑞、第一纵队司令员徐向前、山东纵队政委黎玉及群众团体代表在会上讲了话。
各界人士及广大群众踊跃慰问参战部队，《大众日报》发表了庆祝孙祖战斗胜利的社论。
1940年6月，徐向前奉命回延安，八路军山东纵队的名义随即恢复使用。此后山东纵队指挥其所属各部队对日作战。
1941年1月，八路军第一纵队番号被撤销。