抵達上海之后，依然受張謇推薦，楊蔭杭出任江蘇省高等審判庭長兼司法籌備處處長，轉(zhuǎn)駐蘇州。中華民國規(guī)定，本省人士應(yīng)當(dāng)回避本省官職，因此，不久之后，他又被調(diào)任浙江省高等審判廳長，駐杭州。也是這一段為官的經(jīng)歷，令楊蔭杭日后常常教導(dǎo)楊絳，做什么也別做官。

這句話語出有因。楊蔭杭性情狷介，為官剛正不阿，不懂變通也不愿變通。因為在他看來，所謂變通便是妥協(xié)退讓，終要丟了原則。所言不差。當(dāng)年，身為高等審判庭長，要面臨的大小案件無數(shù)，難免遇到權(quán)貴涉事的案子。楊絳回憶父親曾處理過一起惡霸殺人案。

那個惡霸因有省長和督軍撐腰，東窗事發(fā)之后意欲賄賂。楊蔭杭不允，堅持司法獨立，判處惡霸死刑。如此一來，他一下得罪了兩位高官。依照中華民國的規(guī)定，楊蔭杭其實是在省長和督軍管轄之下，但是省長和督軍不能干預(yù)司法。楊蔭杭的不買賬，理直氣壯。

然而，人情世故遠遠不是單憑理直氣壯便能周全的。事后，涉事的省長便直接向總統(tǒng)袁世凱告狀，幸而袁世凱的秘書張一鏖與楊蔭杭是故交，張一鏖力保楊蔭杭，最后袁世凱親批“此是好人”四個大字回了省長。如此，楊蔭杭方才躲過一劫。

楊絳四歲的時候，楊蔭杭被調(diào)任北京，在京歷任京師高等審判廳長、京師高等檢察長、司法部參事等職。一家人重回北京。不過，楊蔭杭的工作態(tài)度一如既往，不徇私、不舞弊，一顆堅持司法公正和司法獨立的心篤定無比。

1917年5月4日，楊蔭杭竟然傳訊了在職的交通部長，懷疑此人受賄。此事一出，如雷霆炸耳，所有人都對楊蔭杭的行為舉止嗔目結(jié)舌。有人贊他膽識過人，有人罵他呆板迂腐。當(dāng)夜，楊蔭杭的電話便沒有停過。最后，司法部長直接以司法部的名義寫了一篇文章請示袁世凱，要求將楊蔭杭停職。

楊蔭杭不卑不亢，寫了《楊蔭杭申辯書》，列“十二條”，據(jù)當(dāng)時律法，逐一糾正司法部長對司法程序的錯誤認(rèn)知，直接回應(yīng)。楊蔭杭與司法部長的兩篇對簿之文，先后被刊登于1917年5月25日和26日的《申報》要聞之上，引起軒然大波。最后，楊蔭杭雖不得不被停職，但涉事的交通部長也被逼無奈，引咎辭職。

經(jīng)此一事，楊蔭杭對北洋政府的為官之風(fēng)十分失望。雖然停職不久之后又恢復(fù)公職，但是楊蔭杭的工作熱情已失大半，對“做官”一事，也越發(fā)抵觸。既然無法在真實的法治公正與虛偽的人情世故之中斡旋平衡，不如離開。楊蔭杭打算辭職。

這些，幼年的楊絳不懂。她只記得，有一日父親突然不去上班，連他上班要乘坐的馬車也賣掉了，兩匹馬沒了，兩個馬夫也走了。父親倒是清閑、愜意，還與他一位名叫黃子年的留日同學(xué)去百花山上采集制作植物標(biāo)本，出門六七日才回，被曬得黝黑。

在北京的那幾年，對幼小的楊絳來說，多半都是綿密的溫柔和悠長的童趣。挫折和跌宕是大人的事，而她尚未領(lǐng)悟苦難之分毫，只是枕在父母寬厚的臂膀之中來回摩挲，父親和母親便是她踏蹈的整個塵世，便是她觸撫的全部人間。

此次重回北京，他們租住在東城，房東是滿族女子。這是楊絳第一次見到真正梳旗頭、穿旗袍、踩花盆底鞋的滿人。小小的楊絳將一切看在眼中，父親問她要不要穿這種高底的鞋子，她認(rèn)真思索一番之后認(rèn)真地答道：要。她慢慢明白，什么叫做美了。

后來，楊家搬去了西城東斜街25號。也是從這里開始，楊絳正式接受學(xué)校教育。先是入第一蒙養(yǎng)院學(xué)前班，后轉(zhuǎn)入辟才胡同女師大附屬小學(xué)。當(dāng)時，楊絳的三姑母便在一墻之隔的北京女子高等師范學(xué)校任“學(xué)監(jiān)”。楊絳曾說，她童年的記憶也正是從這里開始。