還在6月中旬拒簽和約運動如火如荼地展開時，張國燾離開北京，去了一趟上海。

6月16日全國學聯(lián)成立后不久，張國燾和幾位同學來到上海，與先期來上?；I備全國學聯(lián)的北京代表許德珩、黃日葵、段錫朋等人會合。張國燾到上海后，成為沒有表決權(quán)的代表，并被安排擔任總務(wù)方面的工作。但是，張國燾對這項工作并無興趣。他回憶說：

我對全國學生聯(lián)合會總務(wù)處的工作并不感興趣，事實上也未正式就職。我所注意的是考察各地學生運動的實況。我發(fā)覺上海及各地學生會講演方面的工作，趕不上我們在北京所做的。“到民間去”的風氣很不普遍。為了要給各地同學一個榜樣，我親身在上海從事街頭活動。我制了一些賣報的布袋子，發(fā)動同學們一齊去推銷愛國書刊，進行像北京學生聯(lián)合會講演團一樣的工作。我背了一個裝滿《每周評論》、《星期評論》等愛國書刊的袋子，到街上去一面叫賣，一面向市民宣傳，晚間歸來，有些代表們以驚奇的眼光笑著問我：“你這位社會運動大家的生意好嗎？”我充滿了自信向他們說：“成績還不錯。我們都要有這種到民間去的精神才好！”我這樣做了幾天，終于在南京路永安公司門口，受到一個外國巡捕的粗暴干涉，他不加警告的在我背后用力的一推，幾乎使我跌倒。當我依然停在那里表示不服的時候，他竟做出要逮捕我的姿態(tài)。我為了不愿引起糾紛，以免妨礙全國學生聯(lián)合會組織的進行，當時沒有反抗就走了，也未將這件不愉快的事宣揚出去。但在我心中留有深刻的印象，是第一次嘗到外國租界勢力給予我的侮辱，使我確認反日之外，還要反對租界。

此時，被北京政府逮捕的陳獨秀和北京學生聯(lián)合會負責人尚未出獄。在上海的北京學生商量后認為，這是北京政府有計劃地摧殘北大的行動，并認為北京學聯(lián)的領(lǐng)導也需要加強，于是決定要張國燾立即趕回北京，號召同學們堅決反抗。

張國燾回到北京后，在一次北大學生干事會的會議上被推舉為北京大學學生干事會總務(wù)主任兼聯(lián)合評議部主任，并被推舉為出席北京學生聯(lián)合會的代表。隨后，又被北京學聯(lián)推舉為總干事。這時，正值暑假，學生中很大一部分都離開北京了。北京學聯(lián)的情景也不像五四運動期間那樣熱烈。張國燾整天忙得不亦樂乎。他后來回憶說：

學生聯(lián)合會經(jīng)常工作的人員大為減少，并且換了一些生手，這樣我的職責更加繁重了。我忙得至少有一個月沒有回到自己的寢室去，疲倦了就在辦公室的睡椅上躺一會，吃飯也在辦公室里，日以繼夜，每天工作十六小時左右。一切工作如主持會議、指導內(nèi)部工作、對外通訊聯(lián)絡(luò)、營救被捕同學、溝通各校同學意見等等，我都做得十分積極，學生會的陣容因此又堅強起來了。這對我個人言，也可說是實習了一課領(lǐng)導工作。

為了同北京政府當局進行斗爭，北京學聯(lián)還同各校校長、教職員聯(lián)合行動，提出不讓教育受到摧殘、挽留蔡元培校長、反對加害陳獨秀和愛國學生的種種主張。在此期間，張國燾同李大釗的接觸更加頻繁起來。李大釗給張國燾以很大的幫助。他不僅提供了很多建議，而且對溝通學生和教職員、新聞界的聯(lián)絡(luò)，更是盡了很大的努力。

8月底，北京地方法院宣布正式開庭審訊被捕的北京學聯(lián)負責人。開庭的那天，張國燾等組織了大批學生去旁聽。最后，在各方面的壓力下，法庭宣布各被告無罪開釋。9月16日，被捕83天的陳獨秀也被釋放。在北大學生為他舉行的歡迎會上，張國燾發(fā)表了熱情洋溢的致辭。

這時，挽留蔡元培的斗爭也取得了徹底勝利。此前，張國燾曾再度南下，迎接蔡返校復職。蔡元培推蔣夢麟暫行代理校長職務(wù)，張國燾和段錫朋遂拜訪了蔣夢麟，表示歡迎。于是蔣即到北大，代理校長。經(jīng)過北大師生、社會各界的不懈斗爭和艱苦努力，蔡元培于9月12日回到北京。9月20日，北京大學開學這天，師生們在法科禮堂先后召開了歡迎蔡元培返校的盛大集會。

在這種情況下，張國燾認為運動已經(jīng)結(jié)束，準備開始重理學業(yè)。但是，局勢的發(fā)展出乎張國燾的意料，同反動當局的斗爭遠沒有結(jié)束。隨著各地慘案的不斷發(fā)生，群眾運動又不斷掀起高潮。