1916年6月，袁世凱謀帝制失敗而死，國事漸平。此時北大校長胡仁源請求辭職。北大教授馬敘倫和陳介石便向教育部推薦蔡元培任北大校長。1916年9月，教育部長范源濂經(jīng)黎元洪批準(zhǔn)后向蔡元培發(fā)出專電邀請。大約同時，國會內(nèi)的浙江省籍議員也電請蔡元培回國任浙江省長。

1916年11月8日，蔡元培和吳玉章回到上海。在做官與擔(dān)任北大校長之間，他選擇了后者。

由于北大當(dāng)時聲名狼藉，蔡元培到上海后，不少友人勸他莫進(jìn)北大這個是非窩。馬君武就堅決反對他去北大，說北大太腐敗，進(jìn)去了若不能整頓，弄不好反壞了自己的名聲。吳稚暉也含糊地表示了反對蔡任北大校長之意，說：“中國事，云不可辦，則幾無一事可辦；云可辦，則其亦幾無可辦?！焙髞聿淘鄶M請吳稚暉就北大學(xué)監(jiān)主任一職，以整飭學(xué)風(fēng)，并兼授《語言學(xué)概論》，擬請汪精衛(wèi)主持國文類教科，“以真正之國粹，喚起青年之精神。”但吳、汪二人均不就。有少數(shù)老同盟會員支持蔡元培，說既然知道北大腐敗，更應(yīng)該去整頓，即使失敗也算盡了心意。這時孫中山極力支持蔡元培，認(rèn)為像蔡元培這樣的老同志，應(yīng)當(dāng)去那帝王思想和官僚習(xí)氣籠罩下的北京，主持北大這個具有全國性的教育機關(guān)，以利傳播革命思想。經(jīng)過權(quán)衡，蔡元培認(rèn)為可以一試，他當(dāng)時說：“覺北京大學(xué)雖聲名狼藉，然改良之策未嘗不可一試，故允為擔(dān)任?！?

蔡元培之所以就任北大校長，其更深層的用意是實現(xiàn)其教育救國的理想。他就任后在給友人的信中說：“吾人茍切實從教育著手，未嘗不可使吾國轉(zhuǎn)危為安，而在國外所經(jīng)營之教育，又似不及在國內(nèi)之切實。弟之所以遲遲不進(jìn)京，欲不任大學(xué)校長，而卒于任之者，亦以此。”他還以法國拿破侖入侵普魯士時，大學(xué)教授費希特多次發(fā)表愛國主義的演說，號召國人進(jìn)行大學(xué)教育改革，終于挽救了普魯士并促進(jìn)了德國的統(tǒng)一一事，來說明高等教育改革對國家民族的意義。蔡元培正是在對北洋軍閥政府失望的情況下，知難而進(jìn)，抱定整頓和改革北大的宗旨和決心，就任北大校長的。后來他還用“我不入地獄，誰入地獄”這句話，來表示當(dāng)時的決心。這一念之間的決定，對北大，對中國高等教育，對中國近現(xiàn)代歷史，意義之大不是一兩句話能夠簡單說明的。