根据毛泽东在华北开展游击战争的指示，9月30日，聂荣臻和林彪致电毛泽东等：建议由一一五师直属队率领部分兵力到阜平地区创建抗日根据地。
10月20日，毛泽东致电周恩来等指出：敌占太原后，战局将起极大极快之变化，拟作以下部署：留一一五师独立团在恒山、五台山地区坚持游击战争，一一五师主力转移到汾河以西吕梁山脉；总部转移至孝义、灵石地区。
据此，八路军总部当即决定，聂荣臻留守五台山地区，创建晋察冀抗日根据地。
聂荣臻担负这一重任是由朱德、彭德怀、任弼时等当面告诉他的。
多年来，他一直在党中央和毛泽东身边工作。
这次要孤悬敌后，独当一面了。
聂荣臻知道任重如山，非同一般。
留给他的部队，只有师独立团、骑兵营、八路军总部特务团一部，加上各地方工作团，也不过3000人。
在晋、察、冀三省交界这样一个广阔的地区，面对四周强大的敌人，这点力量是很单薄的。
必须使部队有一个很大的发展才行。
而要扩大部队打开局面，最主要的问题是缺乏干部。
第二天，他来到总部，希望帮助解决干部奇缺的问题。
总部当即决定，将唐延杰、舒同、王宗槐留在晋察冀军区。
在此前后，一一五师政治部主任罗荣桓对聂荣臻非常支持，挑选了一些人留下来。
像搞后勤工作的查国桢，搞卫生工作的叶青山；政治部留下了潘自力、余光文；司令部留下了刘彬、黄鹏、刘显宜、路遐、李廷赞等。
人数虽少，但一个个都很得力。
罗荣桓还留下了师随营学校。
师教导大队队长孙毅自告奋勇要求留下办学，培养干部。
聂荣臻对这一切深感满意。
从此，聂荣臻和留下的人员被隔绝在敌后。
深秋时节来临，五台山区有时细雨霏霏，有时大雪纷飞，天气一天冷似一天，花草枯萎，树木凋零。
聂荣臻和他的战友们几乎天天研究，在艰难处境中，究竟应该怎样开展工作。
他们围着火盆，面对地图，商谈着创建晋察冀抗日根据地的各种问题。
聂荣臻认为，兵力太少，这是最大的问题。
他说：“要创建根据地，必须首先发展武装。
没有武装，一切都谈不上。”
物资奇缺是晋察冀面临的又一大困难。
他说：“我们经过市镇，市镇是萧条的，走过县城，县城是空虚的，留下的多是些老头老太太。
但是，要解决物资方面的困难，需要发动群众；要补充兵员，扩大武装，也离不开群众。
所以，如何发动群众，就成为我们创建根据地成败的关键。”
经过讨论，大家认识统一了，创建根据地的关键是要扩大武装和发动群众。
1937年11月7日，晋察冀军区在五台县石咀的普济寺宣告成立，聂荣臻任司令员兼政委，唐延杰任参谋长，舒同任政治部主任，查国桢任供给部长，叶青山任卫生部长。
11月13日，经八路军总部批准，聂荣臻发布了成立4个军分区的命令：第一军分区，司令员杨成武，政治委员邓华；第二军分区，司令员兼政治委员赵尔陆；第三军分区，司令员兼政治委员王平(后陈漫远为司令员)；第四军分区，司令员周建屏，政委刘道生。
11月8日，太原失守后，中央北方局派了大批知识分子来到五台山，其中有参加革命较早而年仅25岁的黄敬、邓拓等。
聂荣臻热烈欢迎他们，说：“毛主席告诉我们华北以国民党为主体的正规战争已告结束，以八路军为主体的游击战争转入了主导地位。
敌后的斗争将是长期的、艰苦的，要有啃树皮吃野菜的决心，你们得有这个思想准备哟!”才华横溢的邓拓告诉聂荣臻，他来五台山之前，已经学会了识别和采集多种野菜，为的是日后困难时能借以充饥。
