臨沂一仗開了臺兒莊勝利之端緒。馮玉祥在后來稱贊這一仗說：“張自忠將軍在山東的臨沂打了勝仗，日本人的大隊攻臨沂，守臨沂的是龐炳勛，雙方打得很厲害，日本人想不到張自忠將軍的軍隊那么聽命令，那么的勇敢！正從日本人的右側(cè)背用了一個攔腰截擊的辦法，把日本的軍隊打得落花流水?！迸R沂一戰(zhàn)，津浦線北段日軍“左臂”為國民黨軍隊砍斷，日軍兩路會攻臺兒莊的計劃被徹底粉碎。

這時，蔣介石又將第一戰(zhàn)區(qū)的第二集團軍孫連仲部調(diào)來守臺兒莊。1938年3月24日，蔣介石親自和白崇禧到徐州、臺兒莊“指示機宜”。自3月24日至4月7日，中日兩軍在此展開了抗日戰(zhàn)爭史上著名的臺兒莊會戰(zhàn)，戰(zhàn)斗進行得非常激烈，雙方均付出了沉重的代價。

自3月24日至4月3日，日軍磯谷師團集4萬兵力，并運用其優(yōu)勢之炮兵與機械化部隊（大小坦克車七八十輛，山野炮和重炮共百余尊，輕重機槍不計其數(shù)）猛烈圍攻臺兒莊，并有大批飛機助威?！拔业诙瘓F軍陣地每日落炮彈至六七千發(fā)之多”。孫連仲部的池峰城師以與臺兒莊共存亡之決心，奮勇抵抗，反復肉搏，雖臺兒莊城塞被日軍占去三分之二，守城的國民黨軍隊屹然未動，死力支撐，以待機動兵團包圍日軍。李宗仁在回憶錄中對這段歷史有一段生動的敘述：“孫總司令要求與我直接通話。連仲說：‘報告長官，第二集團軍已傷亡十分之七，敵人火力太強，攻勢過猛，但是我們把敵人也消耗得差不多了。可否請長官答應(yīng)暫時撤退到運河南岸，好讓第二集團軍留點種子，也是長官的大恩大德了’，孫總司令說得如此哀婉。但我預算湯恩伯軍團，明日中午可進至臺兒莊北部。第二集團軍如于此時放棄臺兒莊，豈不功虧一簣。我因此對孫連仲說，‘敵我在臺兒莊已血戰(zhàn)一周，勝負之數(shù)決定于最后五分鐘。援軍明日中午可到，我本人也將于明晨親來臺兒莊督戰(zhàn)。你務(wù)必守至明天拂曉。這是我的命令，如違抗命令，當軍法從事。’……連仲知我態(tài)度堅決，便說：‘好罷，長官，我絕對服從命令，整個集團軍打完為止！’……孫總司令和我通話之后，在臺兒莊內(nèi)親自督戰(zhàn)。死守最后一點的池師長峰城，又來電向他請求準予撤退。連仲命令他：‘士兵打完了你就自己上前填進去。你填過了，我就來填進去。有誰敢退過運河者，殺無赦！’”〔28〕在這抵抗外來侵略者的民族戰(zhàn)爭的戰(zhàn)場上，這些國民黨官兵的有血氣的表現(xiàn)，是可敬可佩的。最后是湯恩伯軍團趕到，李宗仁又親臨指揮對日軍磯谷師團的殲滅戰(zhàn)，臺兒莊戰(zhàn)斗取得了巨大的勝利。日軍是全軍膽落，狼狽逃竄，潰不成軍。磯谷師團長率殘敵萬余人突圍竄往嶧縣，閉城死守，已無絲毫反攻能力。這一仗日軍死傷2萬以上，李宗仁對這一仗的評價是比較高的，他說：“臺兒莊捷報傳出之后，舉國若狂。京、滬淪陷后，籠罩全國的悲觀空氣，至此一掃而空，抗戰(zhàn)前途露出一線新曙光?！?/p>

我軍克復臺兒莊不到10小時，新聞界在臺兒莊召開了一個參戰(zhàn)將士座談會。會上，池峰城師長介紹了其師在此次會戰(zhàn)中的任務(wù)及犧牲情況，他說：“記得本師出發(fā)之初，所擔負的任務(wù)，是誘敵深入，避免決戰(zhàn)，以便幫助其他友軍，完成魯南殲滅戰(zhàn)的使命。從上月廿三日開始攻擊，結(jié)果把嶧縣的敵人誘了出來。但敵人誘到了南洛北洛之間以后，他們竟以左右兩翼直取臺兒莊，為了確保臺兒莊這個戰(zhàn)略據(jù)點，保障徐州不受威脅，我軍在正面展開了決死的戰(zhàn)斗，始終扼守臺兒莊及北站兩個據(jù)點。當敵人增至兩師團半以上的兵力時，因為他們要以一大半的力量，來對付左右兩翼的我軍，所以我們能夠在正面反攻，能夠得到勝利?！劣诒編煿俦⒂碌目箲?zhàn)精神，是值得贊譽的，如營長十二名，傷亡了十名，四個團長，傷了三個，下級軍官的犧牲尤其大……”營長、營副等人則具體介紹了戰(zhàn)斗過程中我軍的表現(xiàn)。營副胡儉峰說：“我們這次打仗，大家有一個信心，就是敵人的大炮飛機，不及咱們刺刀手榴彈厲害！只要他打不死我，咱們總有辦法結(jié)果他們。這次，咱們的刺刀、手榴彈，只用得二分之一，已把敵人打跑了?！睜I長禹功愧說：“我?guī)Я说诰胚B的士兵，守在城里，敵人的排炮打來，往往一炮，轟掉了我們一班人?？墒且话嗳送炅?，第二班自會毫不遲疑地上前去，士兵皆視死如歸。我們在酣熱的巷戰(zhàn)中，什么生死全忘記了，只覺得殺敵人殺得渾身痛快！”軍醫(yī)處長說：“十個傷兵，有九個不愿意下來?！恳粋€士兵都要拿一顆炸彈，去拼掉敵人坦克車，不問這種事能不能做，但他們的勇氣是可佩的！”

據(jù)日本方面資料說，當時蔣介石對臺兒莊勝利的宣傳作了如下指示：