超过一半的样本在报告摘要中都有讨人喜欢的调整。
这不仅仅是长篇新闻和中风的互联网评论者,而是从读者那里得到“tl;dr”。研究论文也引发了它,因为科学家如此淹没了刚刚保持不变的新结果,这是一场斗争。根据牛津大学精神病学家迈克尔夏普的说法,“每个人都被信息所淹没。”
研究论文在文章的信息丰富的“摘要”中简要概述了它们的内容-它通常是从支付日记帐中公开获得的唯一文本。时间紧迫的研究人员可能依赖抽象而不是投资阅读冗长的论文,但这些摘要并不总是可靠的。本周发表在“BMJ循证医学”杂志上的一篇论文发现,他们分析的116篇精神病学和心理学文章中有一半包括某种旋转,使得结果看起来比他们好。
“这些调查结果引起了人们的极大关注,”夏普告诉科学媒体中心,“尤其是读者可能仅根据摘要得出结论,而不是批评全文。”
科学遮瑕膏
随机对照试验(RCT)应该按照极其严格的标准进行。由于赌注如此之高,证据的质量也需要很高。患者被随机分配接受正在测试的治疗或比较安慰剂或现有治疗。随机对照试验旨在准确预先指定他们计划研究的内容以及他们如何分析结果,报告他们发现的每一件事情,而不是挑选最讨人喜欢的结果。
不幸的是,还有一些技巧可以玩。摘要和标题都提供了选择性报告的机会,可以掩盖一项没有达到预期效果的研究。为了评估这种情况有多常见,一组研究人员搜索了临床心理学和精神病学文献,以寻找RCT,这些RCT对他们开始研究的主要问题产生了不显着的结果。
由于研究论文通常包含一系列相关数据,因此在如何报告结果方面存在一定的灵活性。例如,关于特定饮食的研究可能主要是追踪体重减轻和胰岛素抵抗,研究人员将根据这些目标找出试验的技术性-就像要包括多少患者一样。但是试验也可以追踪生活质量作为次要终点,实质上是一个有趣的附加物,它没有像主要目标那么多的经验主义。
试验也可能最终会出现重大和非重要的结果,而这里的“无意义”具有特定的含义。不仅仅是这些研究发现了一个可能并没有多大意义的小结果。相反,他们的发现在统计学上没有意义:治疗组和对照组之间的任何差异都可以用随机机会来解释。
纺纱意义
研究人员发现了116篇符合该法案的论文,然后该团队将他们的摘要评定为旋转。最常见的策略是使用摘要来引起对那些结果显着的主要终点的注意,而不是那些没有结果的主要终点。声称治疗是有益的也是常见的,因为次要终点是显着的。
一系列不太常见的技巧都涉及一些手段,即使试验的主要目标没有成功,报告也能获得成功。一篇论文强调了治疗组和对照组结果之间的差异-尽管事实上统计测试清楚地表明这种差异很容易通过随机机会来解释。总体而言,样本中56%的论文包括某种旋转。
目前尚不清楚阅读科学文献的临床医生是否会受到这种旋转的影响。研究人员指出医生经常只阅读摘要的证据,并且有一些实验性工作正在研究摘要中的旋转是否实际上影响了医生的意见,但这产生了不同的结果。
这项分析侧重于心理学和精神病学,但没有理由认为问题仅限于这些领域。“试图通过阅读摘要来应对洪水可能是一个错误,”夏普说。“作者,同行评审员和期刊编辑都需要更加关注标题和摘要的准确性以及主要报告。”