科举制度，本为取士用贤，而其流弊，不但破坏士大夫的人品，并且破坏文化精神以及治国平天下之事业。士人读圣贤书是为作时文，作时文是为考科举，考科举是为了作官，作官是为了一人一家之富贵利禄。故象山与傅克明书云： 今时士人读书，其志在于学场屋之文，以取科第。 又与李宰书云： 今天下士皆溺于科举之习，观其言，往往称道诗书论孟，综其实，特借以为科举之文耳。 其得意弟子傅子渊问学于象山之后，亦自悔曰： 向来只知有举业，观书不过资意见耳。 白鹿洞书院讲义有云： 科举取士久矣，名儒巨公皆由此出，今为士者固不能免，然场屋之得失，顾其技与有司好恶如何耳，非所以为君子小人之辨也。 在象山文集中，类此之言很多，无须再举。象山不忍士人糟蹋自己，所以特在这方面费其心力以期救人于溺。他27岁与童伯虞书有云： 仆处足下之馆几半载，而不能回足下眷眷声利之心，此诚仆浅陋之罪。 又《语录》云： 有议论者，先生曰：此是虚说，或云、此是时文之见。学者遂云：孟子辟杨孟，韩子辟佛老，陆先生辟时文。先生闻之云：此说也好，然辟杨墨佛老，犹有些气道，吾却只辟得时文！因一笑。 象山这一笑，是解嘲，也是感叹。
其次，宋代重文轻武，士人所受政治束缚较少。故宋代乃意见最多，议论最盛的时代。一般的议论，固然是夹杂着趋时尚新好名争胜的虚说浮辞，即使是讲学论道，亦只是落在书本上，而不是立足于生命，故其意见议论，依然是虚说浮辞，并无当于圣贤学问。而象山所谓学问，乃继承儒家传统，指做人而完成德性人格而言。故曰： 学者所以为学，学为人而已。 须思天之所以与我者是甚底，为是复要作人否，理会得这个明白，然后方可谓之学问。 诸处方晓晓然谈学问时，吾在此，多与后生说人品。 （皆见《语录》）。在他与邓文范的书信中，对于当时的士习与学风，曾有两句极为中肯的话： 愚不肖者之蔽，在于物欲，贤者之蔽，在于意见。 凡是固执己意的成见，以偏概全的偏见，利便自己的私见，人云亦云的俗见，全都是所谓 意见 ，而非 正见 。必须是自得于心的主见与择善固执的定见，方是正见。人当然要有正见，但却不可以意见作怪。一般人的 物欲 ，还比较易于点醒而超拔，而所谓贤者的 意见 ，却已形成锢蔽执着，极不容易对付消解。所以象山常说 与有意见人说话，最难！ 而从当时 物欲、意见 之风习中，透出中国文化之真生命真精神，以拯救当时知识分子拘蔽而又虚浮的心灵，便是象山毕生志业的中心点。
