1937年7月中旬，中共代表周恩来、博古、林伯渠在庐山同蒋介石、邵力子、张冲谈判，因蒋介石对共产党提出的宣言态度冷淡，而另外提出一套方案，谈判又陷于僵局。
中共代表采取不让步则不再与谈的方针，周恩来等遂离开庐山到南京、上海等地。
在上海，周恩来遇到从海外返沪请缨抗战的北伐名将叶挺。
周恩来对叶挺说：“希夷，我正在和蒋介石谈判，主要是谈我们陕北红军部队改编的问题。”
叶挺听着，十分高兴，看来国共两党真的有机会联合起来一致对付日本帝国主义了。
周恩来说：“除了陕北的红军问题，还有南方8省的游击队问题，他们也要改编。这也要看蒋的态度。”
叶挺说：“为了抗日，这恐怕没什么问题吧。”
周恩来以商量的口气问道：“如果能谈通，希望你能参加这些部队的改编工作。怎样？”
叶挺回国本意就是为抗日报国，于是，他对周恩来的这一建议欣然答应，申明完全接受中国共产党的领导，并开始向南京国民政府积极活动。
9月下旬，中共中央和八路军驻宁代表博古、叶剑英等，在南京同国民党代表何应钦、张冲等谈判，初议将南方8省的红军游击队改编为一个新的军，在南方举起抗日旗帜。
蒋介石在事先没有征求中共中央意见的情况下，于9月28日单方面抢先任命叶挺为新四军军长。
博古、叶剑英考虑到党中央还不太清楚叶挺主动“请缨”这一内情，便于10月8日与董必武联名致电中央：
“叶挺事，据他说，恩来第一次在沪曾和他提过这个办法，故他才敢活动。现已委任为新四军军长，拨发了五万元活动费。他表示，如我们不赞成，他仍可辞职。”
电报正式向中央提出“南方游击队集中编为一个属我党直接领导的军”的建议。
10月12日，国民党江西省主席熊式辉转发蒋介石10月6日电令：赣粤边、湘鄂赣边、闽赣边、湘赣边、皖浙赣边、浙闽边和闽西等地红军游击队，统交国民革命军新编第四军（简称新四军）军长叶挺编遣调用。
10月18日，中共中央致电博古、叶剑英、董必武等，同意南方八省红军游击队集中改编为一个军的建议。
10月30日，中共中央作出决定，将南方各地红军游击队集中五分之三改编为一个军，以叶挺为军长，项英为副军长，陈毅或刘英为参谋长，反对国民党插入任何人。
以4个月为清理时间，任何游击队、游击区均须党中央派人亲去传达，然后集中。
11月3日，叶挺应邀到达延安。项英奉命也于11月7日抵达延安。他向党中央详细地汇报了南方三年游击战争和红军游击队谈判改编的情况。
在延安时，叶挺同项英见了面，一起研究了南方红军游击队改编和新四军组建事宜。
叶挺在延安一共逗留了6天，于11月9日离开延安，先行前往武汉，负责新四军军部的筹建工作。
叶挺于11月12日从延安到达武汉，在汉口太和街26号，一边以新四军军部名义招募工作人员，一边等待副军长项英的到来。
此时，叶挺在汉口就新四军具体编制，以及部队活动范围等问题与何应钦反复磋商。
12月13日，中共中央政治局作出《对于南方游击区工作的决议》，充分肯定了南方三年游击战争的成绩。
14日，中共中央政治局又专门讨论了南方各游击区的工作。会议决定成立中共中央东南分局，委员：项英、曾山、陈毅、方方（未到职）。
项英任书记、曾山任副书记兼组织部长。后增加黄道、袁国平、郭潜、薛尚实为委员。
分局机关驻南昌。东南分局主要负责领导东南各省党的工作，受中共中央和中共中央长江局双重领导。
同时决定成立中共中央革命军事委员会新四军分委员会，委员有项英、陈毅、张云逸、袁国平、周子昆。由项英任书记，陈毅任副书记。
从11月起，中共中央从陕甘宁边区机关、部队中陆续抽调张云逸、袁国平、李一氓、周子昆、赖传珠、陈少敏、李坚真、涂振农、钟平、邓振询、谢华一、郭潜、罗梓铭、何绪荣、危秀英等100多名干部（其中许多人是江西籍），经过中央党校短期训练后派往南方工作，解决了东南分局和新四军干部不足的问题。
12月23日，项英率赖传珠、李子芳、李志高、汤光恢等一批派往新四军工作的干部抵汉口。
经过国共双方的反复协商，最后，中共方面在部队编制、薪饷等问题上作出了一些让步，同意新四军不隶属八路军，由所在战区直辖。
军以下不设师、旅、纵队，直辖四个支队，在南方各地只设留守处、办事处，部队全部开往抗日前线。
在坚持单独成立一个军，国民党不插入一个人，坚持共产党的独立领导权和敌后游击战争等原则问题上，也迫使国民党作出了让步。
12月25下午，项英从延安带来的干部、叶挺动员来参军的医务、后勤人员齐聚一堂，举行新四军干部会议。
叶挺军长、项英副军长分别在会上作了关于形势、任务和部队编组的讲话，号召大家团结奋斗，抗战到底。
这次会议，标志着新四军军部的组建完成。
12月28日，毛主席复电批准了关于新四军编为四个支队和干部配备的具体方案。
何应钦亦于1938年1月初正式核定有关新四军的编制、薪饷及干部配备问题。不久，又批准了项英任副军长、张云逸、周子昆任正副参谋长，袁国平、邓子恢任正副政治部主任。
1938年1月6月，新四军军部从汉口移抵南昌市三眼井高升巷原张勋公馆内挂牌办公。
中共中央东南分局和新四军军分会，于1938年1月6日在南昌正式成立，军部移驻南昌。
随后，主要领导人分赴各游击区传达中央指示，做好部队集中改编工作。把由各红军游击队改名的“抗日义勇军”等抗日武装改编为新四军，组建新四军的四个支队。
从1938年1月中旬起，项英、曾山、陈毅、黄道、张云逸、赖传珠等先后到湘赣边、赣粤边、闽浙边向三年游击战争的红军游击队指战员，宣传国际国内形势，并就国共合作、南方红军游击队改编为新四军的问题作了动员。
当时，有些游击队干部、战士对改编不理解，认为改编是向国民党“投降”，尤其是对“穿国民党军服”、“戴国民党帽徽”意见最大。
面对这些思想问题，项英等领导人耐心细致地做说服教育工作，明确指出：
国共合作、下山改编是为了国家与民族的生存，不是投降国民党。虽然我们换了名称、军服和帽徽，但我们仍然是中国共产党领导的队伍。
项英等领导人还分别与各块游击区党组织负责人商量决定了部队集中编组及开赴前线事宜。
到1938年3月，南方8省的红军游击队，在高度分散，交通、通信联络非常困难的情况下，胜利完成了下山、集中改编为新四军的任务。