但是，由于敵強(qiáng)我弱、寡不敵眾，起義隊(duì)伍隨即撤出南昌城，并在南下途中失敗，譚平山也因此被迫流落港澳。在此期間，武漢國(guó)民黨中央于8月8日宣布開除領(lǐng)導(dǎo)南昌起義的譚平山、林伯渠、惲代英等人的國(guó)民黨黨籍，褫奪現(xiàn)職，緝拿訊辦。對(duì)此，譚平山得知后，不過一笑了之。但令他沒有想到的是，11月9—10日，中共中央臨時(shí)政治局在上海召開擴(kuò)大會(huì)議，處分了一大批黨內(nèi)干部，毛澤東被開除出政治局，周恩來也受到紀(jì)律處分，譚平山則受到最嚴(yán)厲的處分，直接被開除黨籍。

后來，周恩來曾回憶說，譚平山“被開除黨籍的原因，是張國(guó)燾反對(duì)南昌起義，譚平山對(duì)一位師長(zhǎng)說，張國(guó)燾若反對(duì)起義就把他殺掉。當(dāng)時(shí)我任前委書記，這位師長(zhǎng)來征求我的意見，我說黨內(nèi)斗爭(zhēng)不能這樣做。后來有人把這事告訴了共產(chǎn)國(guó)際代表，共產(chǎn)國(guó)際代表就決定把譚平山開除了。今天看來，這個(gè)處分是不完全妥當(dāng)?shù)摹?/p>

李立三則指出：“譚平山在南昌暴動(dòng)是一貫的機(jī)會(huì)主義。他單獨(dú)的行動(dòng)與國(guó)民黨左派聯(lián)合宣傳要組織新的黨，沿途開始新黨的活動(dòng)（其實(shí)在武漢時(shí)已開始），企圖成立第三黨。譚平山離開黨的傾向在南昌暴動(dòng)完全表現(xiàn)，后來黨開除譚平山?！碑?dāng)時(shí)，中共黨內(nèi)許多人都認(rèn)為，第三黨比國(guó)民黨右派還要壞，是絕對(duì)不能容忍的。

1928年春，譚平山回到上海，到處尋找黨組織，卻無人理睬。這時(shí)，他才得知自己已被開除黨籍。譚平山認(rèn)為處分過重，心里很不服氣，曾多次寫報(bào)告，請(qǐng)熟人轉(zhuǎn)交黨組織，要求進(jìn)行復(fù)議，恢復(fù)黨籍和去蘇聯(lián)學(xué)習(xí)，但始終沒有得到同情和理解。當(dāng)時(shí)，譚平山無處申述，無法辯解，也無法參加黨的任何工作，心情十分沉重：“像一個(gè)在大海中航行失去了指南針的小船一樣的痛苦?！?/p>

大革命失敗后，許多國(guó)民黨左派人士和一部分失去組織關(guān)系的共產(chǎn)黨員紛紛云集上海。他們?cè)谡紊险也坏匠雎罚钌嫌譀]有著落，在茫茫上海灘無所適從，就像“無壇廟可歸的青年游魂”。