但是,如果科学家无法创造出能人为控制所有变量的实验情境,就不便采用试验方法了。在社会科学领域,除非研究的是极小规模群体中的某些关系,否则基本不用受控实验方法,因为研究者无法掌控实验情境。例如,要证明或者反驳“高关税带来经济繁荣”这一命题的受控实验方法应该是,在一段相当长的时期内对美国进口的所有商品课以重税,同时要使影响商业活动的其他所有因素都保持不变。如果随之而来的是持续的经济繁荣,那么我们就有了确凿的证据支持“高关税导致经济繁荣”的观点。然而,没有一个研究者(比如说一位经济学家)可以操纵国家的关税政策,即使她可以做到,高关税生效的同时也会发生许多其他社会变化,如罢工、新产业的出现甚或战争。有些变化对国家经济繁荣的影响无疑要比高关税大得多,这也使我们不可能把高关税的影响与其他事件的影响剥离开来。
社会科学家感兴趣的大多数问题都涉及庞大人群,往往是整个社会,解决这类问题显然无法采用受控实验方法。然而,如果社会科学家能够通过研究小群体来解决问题,那么只要被研究对象愿意合作,他们或许就可以有限地使用实验方法。他们还可以采用自然实验(natural experiments)法,即通过两个选择了不同政策的类似地区或实体系统地研究不同政策的影响。虽然研究者不能完全掌控自然实验,但他们多少可以有所控制。
将来,随着计算机技术的进一步发展,社会科学家们可以利用虚拟社会系统来研究政策问题。虚拟社会系统是指用电脑虚拟出无数互动的个人,从而创造出一个可以模拟真实世界所发生的一切的虚拟系统。由于社会系统的复杂性,这种虚拟系统目前还只是对未来的一种期望,并非现实。
人们有时候会把某些社会实验称作“实验”,例如,俄勒冈州在医疗保险融资方面的变化,或者佛罗里达州尝试用代金券资助教育,它们可能都被称为社会实验。但是,除非有另一种办法对这些所谓的“实验”加以“控制”,从而可以把它们当作自然实验来研究,否则它们就不是我们这里所说的实验,而只不过是引进和“尝试”新的社会政策。二者的区别在于掌控的能力和复制实验的可能性。对实验的控制越少,重复实验的可能性就越小,实验结果就越没有保证。