徐志摩死后，陆小曼穷无所归，依翁瑞午过活。翁瑞午愿抛妻别子，与她名正言顺地结缡，但陆小曼不同意，因为他老婆是旧式女子，一旦离婚，便无求生的出路。她曾一再声明，自己与翁瑞午并无爱情，只有感情，她心目中惟一的爱人是徐志摩。志摩遇难后，她一直身穿素服，不再披红著绿，她还用正楷录下白居易《长恨歌》中的诗句“天长地久有时尽，此恨绵绵无绝期”，压在玻璃板下。但她与翁瑞午无名无分不明不白地同居着，难免激惹非议。胡适一直喜欢陆小曼，现看着那位“自负风雅的俗子”糟踏小曼的名誉，自然十分生气，到了四十年代，他写信给陆小曼，提出三条：“一、希望戒绝嗜好；二、远离翁瑞午；三、速赴南京，由他安排新生活。”对胡大哥的好意，陆小曼未加理睬。于是，像胡适那样的自由主义者也使出了“撒手锏”，写信声称，如果陆小曼不肯终止与翁瑞午的关系，他就要与她绝交。做朋友可以这么盛气凌人，以自己的意愿强加于对方，丝毫不尊重不体谅一个女人的苦衷和苦处吗？文化大师讲出过分的话，使出无理的招，实在叫人难以信服。陆小曼没有在意胡大哥的威吓，她依然我行我素。
翁瑞午对陆小曼半生痴爱，可谓不惜工本，为了供养高消费的陆小曼，他变卖尽手中珍贵的字画和古董，荡尽家业，这一点是徐志摩和陆小曼的任何朋友都做不到的，完全可以这么说，没有翁瑞午悉心尽力的照顾，以陆小曼的体质和心气，她不可能活足六十二岁。陆小曼在巨大的压力下仍对翁瑞午不弃不离，并非全因糊涂。相比之下，倒是那些义正词严的朋友们（包括胡适）脑瓜子出了问题，当初徐志摩都不反感的局面，他们却要反对。
1949年，女作家苏雪林访晤过陆小曼，在她笔下，陆小曼的脸色白中泛青，“头发也是蓬乱的，一口牙齿，脱落精光，也不另镶一副，牙龈也是黑黑的，可见毒瘾很深。不过病容虽这样憔悴，旧时丰韵，依稀尚在”，苏雪林还留意到，陆小曼仍用鲜花供奉着徐志摩的遗像。
