根據(jù)毛澤東在華北開展游擊戰(zhàn)爭的指示，9月30日，聶榮臻和林彪致電毛澤東等：建議由一一五師直屬隊率領部分兵力到阜平地區(qū)創(chuàng)建抗日根據(jù)地。

10月20日，毛澤東致電周恩來等指出：敵占太原后，戰(zhàn)局將起極大極快之變化，擬作以下部署：留一一五師獨立團在恒山、五臺山地區(qū)堅持游擊戰(zhàn)爭，一一五師主力轉移到汾河以西呂梁山脈；總部轉移至孝義、靈石地區(qū)。

據(jù)此，八路軍總部當即決定，聶榮臻留守五臺山地區(qū)，創(chuàng)建晉察冀抗日根據(jù)地。

聶榮臻擔負這一重任是由朱德、彭德懷、任弼時等當面告訴他的。

多年來，他一直在黨中央和毛澤東身邊工作。

這次要孤懸敵后，獨當一面了。

聶榮臻知道任重如山，非同一般。

留給他的部隊，只有師獨立團、騎兵營、八路軍總部特務團一部，加上各地方工作團，也不過3000人。

在晉、察、冀三省交界這樣一個廣闊的地區(qū)，面對四周強大的敵人，這點力量是很單薄的。

必須使部隊有一個很大的發(fā)展才行。

而要擴大部隊打開局面，最主要的問題是缺乏干部。

第二天，他來到總部，希望幫助解決干部奇缺的問題。

總部當即決定，將唐延杰、舒同、王宗槐留在晉察冀軍區(qū)。

在此前后，一一五師政治部主任羅榮桓對聶榮臻非常支持，挑選了一些人留下來。

像搞后勤工作的查國楨，搞衛(wèi)生工作的葉青山；政治部留下了潘自力、余光文；司令部留下了劉彬、黃鵬、劉顯宜、路遐、李廷贊等。

人數(shù)雖少，但一個個都很得力。

羅榮桓還留下了師隨營學校。

師教導大隊隊長孫毅自告奮勇要求留下辦學，培養(yǎng)干部。

聶榮臻對這一切深感滿意。

從此，聶榮臻和留下的人員被隔絕在敵后。

深秋時節(jié)來臨，五臺山區(qū)有時細雨霏霏，有時大雪紛飛，天氣一天冷似一天，花草枯萎，樹木凋零。

聶榮臻和他的戰(zhàn)友們幾乎天天研究，在艱難處境中，究竟應該怎樣開展工作。

他們圍著火盆，面對地圖，商談著創(chuàng)建晉察冀抗日根據(jù)地的各種問題。

聶榮臻認為，兵力太少，這是最大的問題。

他說：“要創(chuàng)建根據(jù)地，必須首先發(fā)展武裝。

沒有武裝，一切都談不上?！?/p>

物資奇缺是晉察冀面臨的又一大困難。

他說：“我們經(jīng)過市鎮(zhèn)，市鎮(zhèn)是蕭條的，走過縣城，縣城是空虛的，留下的多是些老頭老太太。

但是，要解決物資方面的困難，需要發(fā)動群眾；要補充兵員，擴大武裝，也離不開群眾。

所以，如何發(fā)動群眾，就成為我們創(chuàng)建根據(jù)地成敗的關鍵?！?/p>

經(jīng)過討論，大家認識統(tǒng)一了，創(chuàng)建根據(jù)地的關鍵是要擴大武裝和發(fā)動群眾。

1937年11月7日，晉察冀軍區(qū)在五臺縣石咀的普濟寺宣告成立，聶榮臻任司令員兼政委，唐延杰任參謀長，舒同任政治部主任，查國楨任供給部長，葉青山任衛(wèi)生部長。

11月13日，經(jīng)八路軍總部批準，聶榮臻發(fā)布了成立4個軍分區(qū)的命令：第一軍分區(qū)，司令員楊成武，政治委員鄧華；第二軍分區(qū)，司令員兼政治委員趙爾陸；第三軍分區(qū)，司令員兼政治委員王平(后陳漫遠為司令員)；第四軍分區(qū)，司令員周建屏，政委劉道生。

11月8日，太原失守后，中央北方局派了大批知識分子來到五臺山，其中有參加革命較早而年僅25歲的黃敬、鄧拓等。

聶榮臻熱烈歡迎他們，說：“毛主席告訴我們華北以國民黨為主體的正規(guī)戰(zhàn)爭已告結束，以八路軍為主體的游擊戰(zhàn)爭轉入了主導地位。

敵后的斗爭將是長期的、艱苦的，要有啃樹皮吃野菜的決心，你們得有這個思想準備喲!”才華橫溢的鄧拓告訴聶榮臻，他來五臺山之前，已經(jīng)學會了識別和采集多種野菜，為的是日后困難時能借以充饑。