在6月12日于廣州召開的中共三大上，陳獨秀就“二七”大罷工的經(jīng)過作了報告，并由“二七”大罷工失敗得出結(jié)論：無產(chǎn)階級力量薄弱，不足以與軍閥對抗，必須發(fā)動國民革命，而國民革命的領(lǐng)導(dǎo)核心為中國國民黨，因此，全體共產(chǎn)黨員加入國民黨的問題成為此次大會的中心議題。這正是共產(chǎn)國際關(guān)于共產(chǎn)黨與國民黨關(guān)系問題的決議，是共產(chǎn)國際對中共中央的指示。
在激烈辯論中，李大釗、瞿秋白等人對這一決議表示贊同，張國燾卻依舊固執(zhí)己見。早在一個月前，馬林為了這一決議能在三大上順利通過，曾拿著共產(chǎn)國際關(guān)于這一決議的文件給張國燾看，希望他能夠支持共產(chǎn)國際，同意全體共產(chǎn)黨員加入國民黨。而張國燾并沒有接受西湖會議的教訓(xùn)，當(dāng)場與馬林發(fā)生激烈爭吵。如今，張國燾一如既往地站出來反對，令馬林怒不可遏。馬林在講話中稱：
“我完全同意陳獨秀先生的觀點，這也是共產(chǎn)國際的決議，全體共產(chǎn)黨員必須加入國民黨，在國民黨內(nèi)部積極工作，任何低估國民黨和夸大工人階級力量的說法，都是‘左’傾的空談。”
“即使是‘左’傾，‘左’的錯誤也比右的錯誤更容易改正"張國燾與馬林針鋒相對，“我認為，工人階級只有在自己政黨的旗幟下進行革命，才有可能取得最后勝利"
會議最終通過共產(chǎn)國際的決議，決定在保持黨在政治上、組織上獨立性的前提下，全體黨員以個人身份加入國民黨。按照共產(chǎn)國際的成規(guī)，反對國共黨內(nèi)合作的人要向大會表明態(tài)度。曾支持張國燾的毛澤東首先起身表示服從大多數(shù)的決定，接著蔡和森也表示接受，但張國燾卻一臉不服氣地說：
“我接受，但我保留原有意見。”
“好，你有保留的權(quán)力。”馬林氣得暴跳如雷，“毫無疑問，保留意見就意味著你仍會發(fā)表反對言論，仍會由此引起黨內(nèi)糾紛。此種行為非予以制裁不可"
最后，在大會選舉中，張國燾以40票中僅得6票而落選，失去中共中央領(lǐng)導(dǎo)人的地位。8月末，張國燾被任命為全國鐵路總工會總干事，于9月初，心灰意冷地返回北京，回到李大釗身邊。