張國燾在上海期間，廣泛聯(lián)絡(luò)，參加一些政治活動。當(dāng)時，直系軍閥吳佩孚標(biāo)榜同情民眾反日運(yùn)動，提出召集國民大會、和平解決國事、反對與日本直接交涉山東問題、國民籌款贖回膠濟(jì)鐵路等主張。上海民眾團(tuán)體曾召開盛大的國民大會，致電吳佩孚表示支持。張國燾等參加了這次大會。

張國燾還與在上海的國民黨上層人士進(jìn)行了廣泛的接觸。他同胡漢民、汪精衛(wèi)、朱執(zhí)信、廖仲愷、戴季陶、葉楚傖、邵力子等都有過接觸，或經(jīng)常前往拜訪暢談，或聚在一起高談闊論。1921年1月的一天，張國燾等人還直接闖進(jìn)了孫中山在上海的住處。孫中山會見了他們，并同他們就學(xué)生運(yùn)動和民眾運(yùn)動、國民黨人對民眾運(yùn)動的態(tài)度、南北政局以及如何進(jìn)行反對北京政府的革命等問題，進(jìn)行了長達(dá)3個小時的談話。談話中，張國燾給孫中山留下了較好的印象。又過了10天，孫中山約張國燾去單獨(dú)會晤，主要談了有關(guān)時局和如何開展工人運(yùn)動的問題。

在上海期間，張國燾還同研究系的張東蓀有過經(jīng)常的接觸。這時，張東蓀正擔(dān)任《時事新報》的總編輯。1920年春，研究系的首腦人物梁啟超從歐洲回到了上海，張東蓀約張國燾等人同梁晤談。梁啟超講述了一番旅歐的觀感，言語之間特別強(qiáng)調(diào)學(xué)術(shù)研究的重要性，并感慨自己20余年從事政治運(yùn)動徒勞無功，表示今后對政治已無興趣。他談到自己有一個研究文化的大計(jì)劃，希望青年學(xué)者給以幫助。張國燾等人則向他說明了被趕出課堂，無法安心研究學(xué)問，不得不從事反日愛國運(yùn)動的情況，對他專心致力于文化工作的抱負(fù)，表示欽佩。辭別梁啟超出來，張國燾百感交集，一方面感慨梁啟超在政治上的進(jìn)退失據(jù)，另一方面想到自己，雖一心想重理學(xué)業(yè)，可無法安心學(xué)習(xí)，天天疲于奔命。他陷入了內(nèi)心矛盾的痛苦之中。

北京的情形不容許張國燾回去，只好繼續(xù)留在上海。同孫中山第二次晤談后，張國燾開始注意工人運(yùn)動，并和上海各工人團(tuán)體有過一些接觸。其中有一個名為“中華全國工業(yè)聯(lián)合協(xié)會”的組織，提出要張國燾擔(dān)任該協(xié)會的總干事，全權(quán)整理會務(wù)，發(fā)展組織。張國燾經(jīng)過一番考慮之后，便答應(yīng)了。于是，這個協(xié)會的理事會正式任命張國燾為總干事。3月初，在有300多人到會的會員大會上，張國燾發(fā)表了就職演說。

會后，張國燾很熱心地投入到協(xié)會的工作中去。他經(jīng)常深入到工廠，了解會員的情況。通過調(diào)查，他了解到這個協(xié)會雖號稱有1萬多名會員，實(shí)際上不過是僅僅見諸名冊而已，很多工廠只有幾名會員，甚至有的會員根本就不是工人。張國燾十分失望，初期的熱情也就逐漸減低下來。此后，他的職務(wù)雖然仍保留在那里，但事實(shí)上不常去辦公了。

到了4月間，張國燾收到北京同學(xué)寄來的幾封信，得知北京的情形已稍有好轉(zhuǎn)，如果返回北京，大概已沒有被捕的危險了。

接到來信，張國燾思緒萬千，最后決意北返。后來，張國燾在回憶錄中描述了這時的心理感受：

我檢討我這次南行的經(jīng)過，北京學(xué)生聯(lián)合會給我的使命和我自己認(rèn)為要做的事大致都已做了。我和羅家倫雖然覺得我們的工作成績不如理想，但我們已竭全力盡了責(zé)任。

五四運(yùn)動中的一些共事的同學(xué)們多半已離開了學(xué)校。在上海的幾位北大學(xué)生代表都已畢業(yè)，準(zhǔn)備出國留學(xué)。羅家倫已結(jié)束了他的代表任務(wù)，在那里和各方要人及文化界的人士接觸，準(zhǔn)備不久到美國去。五四運(yùn)動中的另一個要角，風(fēng)流詩人康白情雖無代表的任務(wù)，也同我們一道活動。他曾在上海徐家匯一個花園里舉辦名震一時的踏青會，參加的青年男女二百多人。他為這種交際弄得有點(diǎn)神魂顛倒，幾乎連到美國去深造的事都置之腦后。……此外，五四運(yùn)動中的健將段錫朋、周炳琳等同學(xué)也先后赴美求學(xué)，路經(jīng)上海，都曾和我朝夕相聚。只有我，在北大還有兩年學(xué)程，照理自然應(yīng)該即時北返。

這些同學(xué)們都對我說，我如回到北京，仍會受到黑名單的干擾無法安心念書；不如和他們一道出國留學(xué)。但我仍決定重回北大。我認(rèn)為北京環(huán)境對我雖有困難，但求完成北大的學(xué)業(yè)總還有可能，而且多年相交的師友多數(shù)仍在北京，我和師友們所共建的學(xué)生運(yùn)動和民眾工作的基礎(chǔ)，也使我有不忍放棄之感。

5月初，張國燾向中華全國工業(yè)聯(lián)合協(xié)會辭去了總干事的職務(wù)，乘車北返。在離開北京4個多月后，他終于又重新回到了母校北京大學(xué)。