为使清廷鼓励正途出身人员报考，奕等人再递上折、片各一件，进一步阐明学习西方的必要性，强调如仍苟且偷安、不思振作，后患将不堪设想。他们斥责倭仁以“道学鸣高”，故意危言耸听，总以“师事夷人”、“奉夷为师”指责别人，其目的无非是阻止人们报考同文馆。他们声称，同文馆雇觅洋人不过是讲授天文算学，早已奏明入馆学习者不修弟子之礼，该折业经发抄，倭仁岂有不知？为什么信口开河，肆意攻击？他们继续将倭仁的军：倭仁不是认为中国早有精通天文算学、船坚炮利的人才，只是没有精心访求吗？他们于是提出希望朝廷下旨饬令倭仁保荐数人，即行择地另设一馆，由他督饬。清廷还真接受了奕等人的请求，发布“上谕”，要倭仁保荐几名精通天文算学人才另行择地设馆，由倭仁负责。在这种情况下，倭仁不得不承认“意中并无精于天文算学之人，不敢妄保”，请求不必另行设馆。但是，他仍坚持自己原来的观点，认为天文算学只为最不重要，“并非欲自强必须讲明算法也”。
在奕等人的策划下，清廷任命倭仁在总理衙门行走，想逼使他也不能不涉及洋务。但倭仁表示坚辞，未获批准，便称病乞假。
当倭仁在洋务派的步步进逼下处境十分尴尬的时候，候补直隶州知州杨廷熙通过都察院递上《请撤销同文馆以弭天变折》，以“天象示警”来为顽固派辩护。他指说今年春季以来久旱不雨，疫疠流行，是“天象示警”，“京师中街谈巷议，皆以为同文馆之设，强词夺理、师敌忘仇、御夷失策所致”，认为总理衙门请求设立同文馆是“不当于天理，不洽于人心，不合于众论”，“溃夷夏之防，为乱阶之倡”。为了“杜乱萌而端风教，弭天变而顺人心”，必须“收回成命”，将同文馆予以裁撤，或者禁止科甲正途人员报考天文算学馆。他认为中国欲求自强，只需要“纪纲立，号令行，政教兴”，“作忠义之气于行间，尽教养之怀于民上”，则洋人虽众，枪炮虽利，轮船虽多，亦断不敢肆虐于中国。他强调西方国家乃中国之“敌国”与“世仇”，学习西方的自然科学知识就是“师事仇敌”，“无论偏长薄技不足为中国师，即多才多艺层出不穷，而华夷之辨不得不严，尊卑之分不得不定，名器之重不得不惜”。而科甲正途人员一旦使之师事仇敌，则“忠义之气自此消矣，廉耻之道自此丧矣，机械变诈之行自此起矣。圣贤之大道不修，士林之节概不讲”，后果非常可怕。他把西学视为洪水猛兽，宁可使中国落后挨打，也决不可向敌人学习。杨廷熙自恃有倭仁为后台，又掌握儒学正统“话语权”，所以在奏折中还肆无忌惮地攻击总理衙门诸大臣，甚至直接涉及清廷最高统治者：“西教本不行于中国，而总理衙门请皇上导之使行”，该衙门大臣“专擅挟持，启皇上以拒谏饰非之渐”。
顽固派不仅从抽象的理学角度反驳洋务派，而且把主张学习西方者扣上了“师事夷人”、“奉夷为师”、“师事仇敌”等类似于“里通外国”、“汉奸”等政治性大帽子，在近代中国屡被侵略的背景下，这种言辞更易激起人们的义愤。
最后，奕等人只能以自请“开去总理衙门差使”相挟。看到两派势同水火，争论愈演愈烈，继续下去将使朝政瘫痪，清廷便于1867年6月30日发布“上谕”，一方面严批杨廷熙、倭仁等人，一方面又以“与国家休戚相关”为由，要倭仁“不应坚持己见”，与总理衙门王大臣等“和衷商酌，共济时艰”，同时饬令奕等应“不避嫌怨，力任其难，岂可顾恤浮言，稍涉推诿”。这场争论遂告结束。
这次历时半年激烈争论的结果，双方各有得失。顽固派反对设立天文算学馆的企图毕竟没有得逞，就此而言，洋务派胜。但在顽固派的影响下，报考同文馆的人数锐减，特别是正途出身人员依然寥寥无几。顽固派的主张在社会上得到了更广泛的支持，形成一股相当强大的舆论力量，“京师各省士大夫聚党私议，约法阻拦，甚且以无稽谣言煽惑人心”。名士李慈铭在日记中就写道，“正途”人员学西学是“以中华之儒臣而为丑夷之学子，稍有人心，宜不肯就，而又群焉趋之。盖学术不明，礼义尽丧，士习卑污，遂至于此。驯将夷夏不别，人道沦胥，家国之忧，非可言究”。一时还出现不少对联：“诡计本多端，使小朝廷设同文之馆；军机无远略，诱佳子弟拜异类为师。”“未同而言，斯文将丧。”“孔门弟子，鬼谷先生。”还有作俚语笑骂的，如“胡闹，胡闹！教人都从了天主教！”人言籍籍，群起非难，报考天文算学馆的人数更少。总理衙门1867年7月初奏称，“两月以来，投考之人，正途与监生杂项人员相间……共计投考正杂各项人员九十八名”，临时又有二十六名没有参加考试。参加考试的七十二名中，不少是因为待遇极为优厚才来报考，所以学生质量很差。最后只得勉强录取了三十名，第二年就淘汰了二十名，最后毕业的只有五名，天文算学馆名存实亡，洋务派倡学自然科学知识的计划实际严重受挫。所以就此而言，顽固派胜。
这次争论的实质，是西学的价值问题，亦即自然科学知识是否具有“普适性”。任何一种知识都产生于具体的“地方”，所以每种知识的源起都具有“地方性”，如果因此认为任何知识都没有普适性，那么所谓交流、交往将没有意义，不同文明之间根本无法沟通，人类也不可能发展进步。发端于西方的近代自然科学知识在引入中国之初被称为“西学”，表明时人认为这只是一种地方性知识。顽固派坚决反对引入，即认为这种知识不具普适性、不应为“我”所有，而且是对“我”构成威胁的“他者”。洋务派虽不可能清晰认识到，自然也未明言这是一种具有普适性的知识，但强调能为我用，毕竟是对其普适性的初步承认。声光电化、天文历算这类知识从“西学”到“科学”的名称之变，实即“身份之变”，表明近代中国最终承认这是一种普适性知识体系。现在，科学更是被提高到“科教兴国”的高度。中外历史表明，国之兴衰、社会发展之快慢，与对这种普适性知识接受的难易确实大有关系。
