林语堂的初恋是一个叫“橄榄”的女孩。“橄榄”是山里的女子，其母是林语堂母亲的教女。
在八十自述中，林语堂回忆：“我记得她蹲在小溪里等着蝴蝶落?她的头发上，然后轻轻地走开，居然不会把蝴蝶惊走。”
儿时他们常在山间一起玩，林语堂曾用《圣经》上的一句话形容过橄榄赤足的样子：“她的脚在群山间，是多么美丽！”
由于林语堂想出国留学，而橄榄要照顾双目失明的祖父，不能离开家乡，所以他们分手了。但他从未忘记橄榄，而橄榄赤足奔跑在草地上的情景成了林永不能割舍的“情结”，他曾专门写《论赤足之美》，他说：“要是问我赤足好，革履好，我无疑地说，在热地，赤足好。……赤足是天所赋予的，革履是人工的，人工何可与造物媲美？赤足之快活灵便，童年时快乐自由，大?忘记了吧！步伐轻快，跳动自如，怎样好的轻软皮鞋都办不到，比不上。至于无声无臭，更不必说。”
在圣约翰大学上学时，林语堂和厦门的陈希佐、陈希庆兄弟交好。也由此认识了他心仪的第二位女子，陈氏兄弟的妹妹陈锦端。陈锦端的父亲陈天恩早年追随孙中山，是厦门数一数二的巨富。林语堂对陈锦端一见钟情，而陈锦端也心仪林语堂，二人很快坠入爱河。放暑假时，二人回到了各自的家中。林语堂思念心上人，几次跑到厦门，借口探望陈氏兄弟。林语堂在《八十自述》中说：“我从圣约翰回厦门，总在我好友的家逗留，因为我热爱我好友的妹妹。
林语堂经常造访陈家，陈天恩早看出来林的来意是为其长女。陈天恩是虔诚的基督教徒，他认为林虽然聪明，但对基督教不够虔诚，家庭出身也不好，爱女不能托付给他。陈天恩对陈锦端表明态度，迫使她同意再也不见林语堂。于是每次林来访，陈锦端都躲在房间里，不肯出来。
一次，陈天恩对林语堂说，隔壁廖家的二小姐（廖翠凤）贤惠漂亮，他愿意做媒，保准成。林马上明白了陈天恩的意思。他觉得受到了极大的侮辱，垂头丧气地回到坂仔。大姐林瑞珠知道后大骂林语堂：“你怎么这么笨，偏偏爱上陈天恩的女儿？你打算怎么养她？陈天恩是?门的巨富，你难道想吃天鹅肉？”大姐的话把林语堂拉回到现实。就这样，林语堂的第二次恋爱还没有步入高潮就戛然而止了。
