劉琨在軍事上毫無建樹，唯有"月夜奏笳退胡騎"成為他一生最經(jīng)典的一次戰(zhàn)役。公元311年，洛陽陷落，312年春，匈奴漢國的大軍兵圍晉陽，"為胡騎所圍數(shù)重，城中窘迫無計，"劉琨月夜登城，面對數(shù)萬匈奴騎兵發(fā)出一聲長長的清嘯，劃破清冷月光籠罩下的原野，"賊聞之，皆凄然長嘆，"劉琨中夜奏起胡笳，"賊又流涕?#91;欷，有懷土之切。 向曉復吹之，賊并棄圍而走。"劉琨成功的運用心理戰(zhàn)，利用匈奴騎兵思鄉(xiāng)之情，奏胡笳以動之。使匈奴人心離散，軍心動搖，又不知城中的虛實，撤軍而走，晉陽之圍遂解。這其中有一半劉琨的功勞，也有一半拓跋部的功勞，匈奴人退走，實際上是害怕圍城日久，拓跋部來救援晉陽。

危難一過，他的老毛病又犯了，聽信善音律懂藝術的徐潤的讒言，殺掉生性亢直的奮威護軍令狐盛。在群雄爭霸戰(zhàn)亂紛飛的年代，千軍易得一將難求，劉琨寵藝人殺豪杰大失人心。連他母親也看出來了，勸他不要殺將，"你沒本事，駕馭不了豪杰，只會把比你強的人除掉來保平安如何了得，這樣下去，連我都要跟你遭殃。"劉琨不聽，果不其然，令狐盛的兒子見老爹遇害，一怒之下投奔匈奴漢國，并把晉陽的虛實一一匯報給漢主劉聰，說雁門關的烏桓人謀反，劉琨去平叛，城中空虛，城里還有許多不滿劉琨的人。劉聰大喜，派兒子劉粲和令狐泥一道攻打晉陽。劉琨真的率精兵去雁門關，留守的太原太守高喬舉城投降，匈奴人不費一兵一卒占領晉陽，劉琨的父母均被殺害。

劉琨應該悔出腸子來，沒辦法跑到拓跋部哭訴，猗盧很夠義氣，聞聽大怒，起傾國之兵為劉琨報仇。二十多萬鮮卑騎兵殺向晉陽，劉粲為拓跋部氣勢所攝，焚燒輜重突圍遁走，拓跋騎兵隨后追擊，大敗匈奴，連斬數(shù)將，匈奴兵伏尸數(shù)百里。游牧民族喜歡打仗之暇進行捕獵來補充軍糧， 猗盧大獵壽陽山，陳閱皮肉，山為之赤，可見拓跋人的氣勢。劉琨自營門步入拜謝，固請進軍，他意氣用事，猗盧可不糊涂，對他說："我沒有早來，讓你父母遭到殺害，實在是有愧?，F(xiàn)在并州已經(jīng)光復，我們遠道而來，士馬疲弊，不能再繼續(xù)前進了，劉聰不是一仗就可以消滅的。"猗盧知道劉琨不是什么將才，送給他一千多匹馬，牛羊各一千多頭和一百輛車后回師，把部將箕澹、段繁等留下來幫助戍守晉陽。

猗盧對他這個把兄弟仁盡義至，劉琨也對得起猗盧，先后上表晉廷封猗盧為大單于、代公，并割讓陘嶺（今山西省代縣西北句注山）以北的馬邑、陰館、樓煩、繁疇、崞五縣給拓跋部（其地東接代郡，西連西河、朔方，方數(shù)百里）。晉陽之戰(zhàn)后，劉琨更是上表朝廷再為猗盧請功，長安的晉愍帝小朝廷封猗盧為代王，猗盧正式受封稱王，拓跋代國的雛形由之形成，兩人之間的關系達到最頂峰，二人秣馬厲兵，準備聯(lián)合進攻匈奴漢國。他們策劃率十萬騎兵西進，派人聯(lián)絡晉廷，讓晉軍從蒲坂東渡，東西夾擊，欲在匈奴漢國都城平陽（在今山西省臨汾市）會師。

公元313年對于大晉國來說是軍事形勢最好的一年。雖然在這一年晉懷帝司馬熾被劉聰毒死于平陽，恰恰說明此時匈奴漢國的心虛。311年司馬熾被俘，劉聰封他為光祿大夫，第二年又改封會稽郡公，儀同三司，并將自己寵信的小劉貴人賜給他，以示自己寬大的胸懷。然而隨著匈奴漢國軍事上的失利，司馬熾的好日子為時不多了。

漢國的領土僅僅局限于今天的山西南部，太岳山麓兩側，漢國的兩員大將劉曜和石勒各自率兵在關中（今陜西）和趙魏地區(qū)（今河南北部和河北南部）作戰(zhàn)。晉朝在關中地區(qū)的軍隊經(jīng)過大小數(shù)百次戰(zhàn)斗，屢敗劉曜的匈奴軍。江淮地區(qū)的司馬睿將石勒趕過黃河，幽州刺史王浚派出鮮卑段部的軍隊攻打石勒，石勒的處境非常的窘迫。匈奴的主力又在晉陽遭受失敗，形勢一片大好，所以劉琨提出消滅匈奴漢國的建議，得到了長安諸將的強烈支持，他們擁立晉武帝司馬炎的孫子年僅十四歲的司馬鄴為首領，意圖迎回晉懷帝。