按倭仁之意，天文算学都属于小道，而治国是要讲礼义、重人心的，而且即使是这些小道，难道除了洋人，我堂堂中华就没有“精其术者”？
针对倭仁弹出的高调、滥调，恭亲王上折驳之，讥讽意味十足地说其“陈义甚高，持论甚正”，然“仅以忠信为甲胄，礼义为干橹等词，谓可折冲樽俎，足以制敌之命，臣等实未敢信。”并指出倭仁奏折可能带来的严重后果，“该大学士久著理学盛名，此论出，而学士大夫从而和之者必众”，将使“学者裹足不前”。事实果为恭亲王不幸而言中，后来他再度上奏，即称“自倭仁倡议以来，京师各省士大夫聚党私议，约法阻拦，甚且以无稽谣言煽惑人心，臣衙门遂无复有投考者。”为了让倭仁闭嘴，恭亲王“请君入瓮”，“查倭仁原奏内称：‘天下之大，不患无才。如以天文、算学必须讲求，博采旁求，必有精其术者，何必夷人？’据此是内外臣工先后二十余年所求而弗获者，倭仁耳目中竟有其人，不胜欣幸！相应请旨饬下倭仁酌保数员，各即请择地另设一馆，由倭仁督饬，以观厥成。”
这里恭亲王等于将了倭仁一军，你不是说“天下之大，不患无才”，天文算学何必夷人吗？那你就推荐几个试试吧。
慈禧此时显然站在恭亲王一边，明知恭亲王是激将法，但当日即准恭王之请，谕令倭仁“该大学士自必确有所知，著即酌保数员，另行择地设馆，由倭仁督饬讲求，与同文馆招考各员互相砥砺，共收实效。”
倭仁立即被打中了痛处，只好上奏说“奴才意中并无精于天文算学之人，不敢妄保。”慈禧仍然不肯放过，谕曰：“倭仁现在既无堪保之人，仍著随时留心。一俟谘访有人，即行保奏，设馆教习，以收实效。”同时命倭仁到总理衙门上班。这一任命让倭仁备感难堪，因为在保守的士大夫眼里，总理衙门天天和洋人打交道，非清流所呆之地，恭亲王排行老六，由于担任总理衙门大臣，也要被呼为“鬼子六”，理学名家怎么能受这种侮辱呢？倭仁请求辞职，未获批准，只好来了个苦肉计，假装从马上摔了下来，终于脱卸了这个差使，最后获准保留大学士位置，辞去其他一切职务。 在这场交锋中，恭亲王以天潢贵胄之尊，又有最高统治者慈禧的支持，看似取得了胜利，其实不然。倭仁被斥招来了更多的反对意见。一个侯补小官候补知州杨廷熙通过都察院呈递了一封上奏，洋洋五千言，以空前激烈的言辞攻击恭亲王。其中“名句”曰：“夫洋人之与中国，敌国也，世仇也。……无论偏长薄技不足为中国师，即多才多艺，层出不穷，而华夷之辨不得不严，尊卑之分不得不定，名器之重不得不惜。”指责恭王“偏执己见，专擅挟持”。本与慈禧有争权之嫌疑的恭亲王当天看到此奏，以其所指罪名之重，只好以自请停职、听候查办来表示清白。慈禧为挽回僵局，下旨对杨痛斥。尽管如此，杨廷熙却名声大噪，“中外竞传诵其文”。
名士李慈铭也在日记中为倭仁大鸣不平，“驯将夷夏不别，人道沦胥，家国之忧，非可言究。朝廷老成凋谢，仅存倭公，然谋钝势孤，无能匡正，而尚见嫉于执政，龃龉于宫廷，以宰相帝师之尊，兼番署奔走之役。徒以小有谏争，稍持国体，遂困之以必不能为之事，辱之以必不可居之名。呜呼！谁秉国成，而损威坏制，一不以为念乎！”
