鼎芬虽官居翰林，却极为迷信。同里李文田擅相面，断言鼎芬活不过二十七岁。鼎芬大骇，讨教偷生之法。文田云：唯有奇祸可解。眼看“大限”将至，恰逢中法战争爆发，北洋大臣李鸿章一味主和，清廷于光绪十年（1884年）五月与法国签订《中法简明条约》，不败而败，举世哗然。鼎芬闻讯，立即疏劾李鸿章，斥其辱国投降，犯六款可杀之罪，请明正典刑，以谢天下。朝野震惊，果然酿成“奇祸”，慈禧雌颜大怒，于光绪十一年（1885年）六月将鼎芬连降五级，任太常寺司乐，成为空前绝后的“从九品翰林”，翌年复因被劾而罢官。
光绪二十六年（1900年）义和团乍起于山东河北等地，鼎芬心急如焚，连续致电各大官僚，“谆谆以剿匪为请”。八国联军兵临北京，慈禧挟光绪帝仓皇西窜，鼎芬首倡向逃往西安的“二圣”呈进食物、药品等，因而深得饱尝流离之苦的慈禧太后好感，嗣经湖北学政王同愈奏荐，鼎芬于当年十二月得赏还“翰林院编修”原衔之恩典。次年三月，张之洞又上《保荐人才折》，称鼎芬品行好、才力强，建议送部引见，优与录用。不久，鼎芬被任命为武昌知府，旋又升任湖北安襄郧荆道。在此期间，鼎芬还兼任新军参谋所、执法所提调、学务处总提调，参与编练新军，创办省城警察，管理湖北学务，成为张之洞得力助手，人称“小之洞”。他积极筹办新式学堂，不仅亲自创办了府道两级师范学堂，而且还捐俸一万元开办省师范学堂。然重新出仕，仍旧习不改。光绪三十二年（1906年）八月，鼎芬升任湖北按察使。于翌年专折奏陈预备立宪，随后上疏弹劾庆亲王奕劻和直隶总督袁世凯，揭露奕劻“通赇贿”，称“请月给银三万两以养其廉”；指斥袁世凯“权谋迈众”、“引用私党”，并抨击袁世凯的亲信内外大臣荣庆、徐世昌等八人。为此又遭斥责，鼎芬愤而挂冠，扬长而去。因此得“梁疯子”绰号，朝野刮目相看。
