“慷慨”的复制方法证实了许多备受瞩目的社会科学发现

“慷慨”的复制方法证实了许多备受瞩目的社会科学发现

一项关于阅读文学小说的认知益处的研究是通过一项专注于高调期刊的新的复制工作来审查的。

iStock.com/Wavebreakmedia
“慷慨”的复制方法证实了许多备受瞩目的社会科学发现

2013年,当时纽约市新学院的研究生,社会心理学家大卫·基德得知他作为第一作者的第一篇论文已通过同行评审,并将发表在“ 科学”杂志上 现在,基德的论文表明,阅读文学小说可以提高一个人对其他人心理状态的能力,这一论文再次受到审查 - 结果不那么令人满意。 通过艰苦努力复制2010年至2015年期间发表在“ 科学自然”杂志上的所有21篇实验性社会科学论文,这是八项研究之一。

它被称为社会科学复制项目,它是弗吉尼亚州夏洛茨维尔的非营利性开放科学中心(COS)的最新出价,也是远程合作者对科学文献的质量检查。 与其前身一样,新的努力发现,大部分已发表的研究在第二次进行时不会产生相同的结果。 但这一次,进行复制的五个独立研究小组努力使研究受益于怀疑:他们通过平均招募五倍于原始参与者的人数来提高研究的统计效力。 “这是一种非常慷慨的努力,”位于夏洛茨维尔的弗吉尼亚大学的心理学家Brian Nosek说,他共同创立了COS,他的实验室进行了五次新的复制。

这可能有助于解释为什么新项目 ,相比之下,三个心理学期刊的一项更大规模的研究中有39%, 。 审查经济学研究的类似项目在2016年报告说它已经复制了61%的实验。

本周发表在“ 自然人类行为”杂志上的这一研究结果似乎与高调期刊的研究结果相矛盾,这些期刊对开创性或令人惊讶的结果非常重视,其可重复性低于更专业的期刊。 但加利福尼亚大学圣地亚哥分校的认知心理学家Hal Pashler警告说,不同项目之间复制率的差异可能并不具有统计学意义。 他说,62%的数字“肯定与该领域的问题一致”。 “似乎很有趣的是,标准的偏差达到了62%似乎非常可观的程度。”

这些团队的目的是测试许多研究难以复制的观念,因为声称的影响虽然是真实的,但却被夸大了。 Nosek说,如果是这样,复制工作需要更敏感才能找到更小的正面影响。 “我们不希望低功率解释为什么有些效应没有复制。”

复制工作,几乎所有这些工作都是与原作者合作设计的,其大小足以对效果敏感,只有最初报告的尺寸的75%。 如果初始复制尝试失败,研究人员会增加更多参与者。 这种方法产生了不同:两个实验仅在样本量膨胀后才进行切割。

基德现在是哈佛大学的博士后研究员,他表示,更加严谨,更对他的研究 。 “我无法想象为什么人们会因为这种复制而将原始发现置于特权之中。”但在与该研究一起发表的评论中,基德和其他作者捍卫了他们论文的潜在假设。 例如,基德指出,该项目只重复了每篇论文中的一个实验,而在他的案例中,它并不是最强或最重要的。

即使只重复论文中的一小部分工作也需要花费数年时间,花费超过20万美元,并且有大量的捐赠劳动力和实验时间。 但新项目还强调了衡量纸张可复制性的更便宜的方法。 作者询问了大约200名科学家和学生,其中大多数是心理学家和经济学家,他们猜测每项研究的复制可能性有多大。 这些专家还参与了一个在线“预测市场”,交易与研究相对应的股票,只有在特定研究被复制时才支付。

这两种方法都很好地预测了个别研究的结果,他们预测整体复制率非常接近62%的实际数字。 这一发现与其他人相呼应,这表明专家判断是一种高度准确的复制代理。 斯德哥尔摩经济学院的复制研究团队成员,经济学家安娜·德雷伯在新闻发布会上说:“这里肯定会有一些人群的智慧。” 来自专家评估人员的轶事反馈显示,他们对样本量较大的研究的可复制性具有较高的信心,并且对那些具有惊人或违反直觉的研究结果更为怀疑。

如果专家能够本能地发现一个不可复制的发现,“那种问题就是为什么在同行评审中似乎没有发生这种情况,”澳大利亚墨尔本大学科学哲学家Fiona Fidler说。 但是,如果未来的研究能够识别并权衡可复制性的最佳预测因素,那么可以给评论者一个标题,以帮助他们在出版之前清除有问题的工作。

另一个趋势也可能有助于驯服不可复制的研究问题:在许多领域推动作者提前分享他们的研究设计,以防止他们在中途改变他们的方法以寻求华而不实的统计学显着结果。 Nosek说,这里分析的研究大多早于这种转变。 他说,能否真正提升社会科学的记录是“下一个重大问题”。

Write a Comment

电子邮件地址不会被公开。 必填项已用*标注