抵达上海之后，依然受张謇推荐，杨荫杭出任江苏省高等审判庭长兼司法筹备处处长，转驻苏州。中华民国规定，本省人士应当回避本省官职，因此，不久之后，他又被调任浙江省高等审判厅长，驻杭州。也是这一段为官的经历，令杨荫杭日后常常教导杨绛，做什么也别做官。
这句话语出有因。杨荫杭性情狷介，为官刚正不阿，不懂变通也不愿变通。因为在他看来，所谓变通便是妥协退让，终要丢了原则。所言不差。当年，身为高等审判庭长，要面临的大小案件无数，难免遇到权贵涉事的案子。杨绛回忆父亲曾处理过一起恶霸杀人案。
那个恶霸因有省长和督军撑腰，东窗事发之后意欲贿赂。杨荫杭不允，坚持司法独立，判处恶霸死刑。如此一来，他一下得罪了两位高官。依照中华民国的规定，杨荫杭其实是在省长和督军管辖之下，但是省长和督军不能干预司法。杨荫杭的不买账，理直气壮。
然而，人情世故远远不是单凭理直气壮便能周全的。事后，涉事的省长便直接向总统袁世凯告状，幸而袁世凯的秘书张一鏖与杨荫杭是故交，张一鏖力保杨荫杭，最后袁世凯亲批“此是好人”四个大字回了省长。如此，杨荫杭方才躲过一劫。
杨绛四岁的时候，杨荫杭被调任北京，在京历任京师高等审判厅长、京师高等检察长、司法部参事等职。一家人重回北京。不过，杨荫杭的工作态度一如既往，不徇私、不舞弊，一颗坚持司法公正和司法独立的心笃定无比。
1917年5月4日，杨荫杭竟然传讯了在职的交通部长，怀疑此人受贿。此事一出，如雷霆炸耳，所有人都对杨荫杭的行为举止嗔目结舌。有人赞他胆识过人，有人骂他呆板迂腐。当夜，杨荫杭的电话便没有停过。最后，司法部长直接以司法部的名义写了一篇文章请示袁世凯，要求将杨荫杭停职。
杨荫杭不卑不亢，写了《杨荫杭申辩书》，列“十二条”，据当时律法，逐一纠正司法部长对司法程序的错误认知，直接回应。杨荫杭与司法部长的两篇对簿之文，先后被刊登于1917年5月25日和26日的《申报》要闻之上，引起轩然大波。最后，杨荫杭虽不得不被停职，但涉事的交通部长也被逼无奈，引咎辞职。
经此一事，杨荫杭对北洋政府的为官之风十分失望。虽然停职不久之后又恢复公职，但是杨荫杭的工作热情已失大半，对“做官”一事，也越发抵触。既然无法在真实的法治公正与虚伪的人情世故之中斡旋平衡，不如离开。杨荫杭打算辞职。
这些，幼年的杨绛不懂。她只记得，有一日父亲突然不去上班，连他上班要乘坐的马车也卖掉了，两匹马没了，两个马夫也走了。父亲倒是清闲、惬意，还与他一位名叫黄子年的留日同学去百花山上采集制作植物标本，出门六七日才回，被晒得黝黑。
在北京的那几年，对幼小的杨绛来说，多半都是绵密的温柔和悠长的童趣。挫折和跌宕是大人的事，而她尚未领悟苦难之分毫，只是枕在父母宽厚的臂膀之中来回摩挲，父亲和母亲便是她踏蹈的整个尘世，便是她触抚的全部人间。
此次重回北京，他们租住在东城，房东是满族女子。这是杨绛第一次见到真正梳旗头、穿旗袍、踩花盆底鞋的满人。小小的杨绛将一切看在眼中，父亲问她要不要穿这种高底的鞋子，她认真思索一番之后认真地答道：要。她慢慢明白，什么叫做美了。
后来，杨家搬去了西城东斜街25号。也是从这里开始，杨绛正式接受学校教育。先是入第一蒙养院学前班，后转入辟才胡同女师大附属小学。当时，杨绛的三姑母便在一墙之隔的北京女子高等师范学校任“学监”。杨绛曾说，她童年的记忆也正是从这里开始。
