林语堂一生和两位好友反目，一是鲁迅，一是美国作家赛珍珠。
林语堂和鲁迅因在女师大任教而结识，在“女师大事件”发生后的1925年12月5日，鲁迅主动给林写信，开始了二人的交往。林后来公开表示，当时北大教授分为两派，一派是以胡适为领袖的现代评论派，一派是以周氏兄弟为首的语丝派，而他“是属于后一派的”。林还为鲁迅绘过一张《鲁迅先生打叭儿狗图》。
张宗昌上台后，没有报纸敢发表林语堂写的文章，军人打扮的人还时不时地在林家门口溜达一圈，美其名曰“保护”。报纸上还流传着一张北洋政府准备第二批通缉的名单，其中，林名列17位，鲁迅排在21位。林在友人家中藏匿三个星期后，接受了厦门大学校长林文庆的邀请，到厦大任教。临行前，林语堂还特地去向鲁迅告别。之后，林语堂将鲁迅、孙伏园、沈兼士、章川岛等在京受到迫害的一干好友邀到厦大。
厦大靠理科起家，经费、校舍资源等各项政策都向理科倾斜。林语堂到校后，分去近一半的研究经费，遭到理科部主任刘树杞的忌恨。刘利用自己掌管财政之便，三次让鲁迅更换住所，最后竟让鲁迅搬到了理学院大厦的地下室。更过分的是，鲁迅的屋子里有两个灯泡，刘树杞说要节约电费，非让人摘下一个。鲁迅气得目瞪口呆，胡子都立了起来。鲁迅又是一个人在厦门生活，无人照料日常起居，有时只能在火炉上用水煮火腿度日。但鲁迅为了林语堂还是留了下来，他说：“只怕我一走，玉堂要立即被攻击。所以有些彷徨。”
由于在厦大备受排挤，最后鲁迅决定去中山大学任教，他说林语堂“太老实”，劝他也离开厦门，同往广州。厦门是林的家乡，况且此地还有其他朋友兄弟，林没有随鲁迅离开。他翻译了尼采的《走过去》，送别鲁迅。
林语堂曾以“白象”称呼鲁迅，意为鲁迅的可贵。许广平此后以“小白象”作为对鲁迅的爱称，周海婴出生后，鲁迅和许广平称呼他为“小红象”。
据说，鲁迅与林语堂曾同住在上海北四川路横滨桥附近，一次鲁迅不小心把烟头扔在了林语堂的帐门下，将林的蚊帐烧掉了一角，林心中十分不悦，厉声责怪了鲁迅。鲁迅觉得林小题大做，因为一床蚊帐这么大火气，便回敬说一床蚊帐不过五块钱，烧了又怎么样，两人就这样争吵了起来。
鲁迅和北新书店的老板李小峰闹版税官司，郁达夫作和事佬为二人调解。此后，李小峰宴请鲁迅，林语堂夫妇也被邀请参加。席间，林提到鲁迅的北大学生张友松请客之事（张曾请鲁迅和林语堂吃饭，说也要办一个书店，并承诺决不拖欠作者的稿酬），并说“奸人”在跟他捣乱（指张友松传播他在汉口发洋财一事）。李小峰便怀疑自己和鲁迅起纠纷是张从中作梗。鲁迅听罢，则疑心林讥讽自己受了张的挑拨，当即脸色发青，站起来大声喊道：“我要声明！我要声明！”一拍桌子，“玉堂，你这是什么话！我和北新的诉讼不关张友松的事！”林辩解道：“是你神经过敏，我没有那个意思！”两人越说越上火，互相瞪着对方，如斗鸡般足足对视了一两分钟。郁达夫见势不妙，赶紧按鲁迅坐下，又拉着林语堂和廖翠凤离开。宴席不欢而散。
川岛在给周作人的信中提及，二人的冲突极为厉害，发展到彼此以“畜生”相互对骂。
郁达夫回忆说，鲁迅后来也明白了这次是误会，但二人之间已经产生了裂痕，之后，大约有三年时间，二人没有往来。
1932年底，蔡元培和宋庆龄成立了中国民权保障同盟，林语堂和鲁迅都加入其中，二人又开始交往。次年，杨杏佛被暗杀，举行入殓仪式这天，林语堂因正被严密监控，无法出门，未去参加。鲁迅去后没有见到林，非常生气：“这种时候就看出人来了，林语堂就没有去，其实，他去送殓又有什么危险！”事实上，林冒着生命危险参加了7月2日杨杏佛的出殡下葬仪式，这一次，鲁迅没有去。
