生物医学网络科学Biomedical Network Science
研究问题、可复现分析与敏感性分析11 / 16

可重复性危机与负结果

阅读
约 3 分钟

背景

开放科学合作组织(Open Science Collaboration, 2015)对三本心理学期刊上的 100 项研究做了高功效重复:原研究中 97% 报告了显著结果,而重复研究中只有 36% 显著,重复效应量平均约为原效应量的一半。Ioannidis(2005)则从先验概率、功效和偏倚出发论证,在许多研究条件下已发表的阳性结果为假的比例可能很高。网络研究同样经历了这些问题,以下是有文献支持的几个案例。

案例一:症状网络的可重复性争论

Forbes 等(2017)在两个相似的大型流行病学样本(美国 NCS-R,n=9282n = 9282;澳大利亚 NSMHWB,n=8841n = 8841)中比较抑郁和广泛性焦虑症状网络:关联网络稳定,但三种条件独立网络在方法和样本之间复现较差。在全样本的 6 个条件独立网络中,44% 的症状至少在一个中心性指标上被估计为“最有影响”,只有 13%–21% 的边在这些网络中被一致估计。Borsboom 等(2017)对同一数据重新分析,认为原结论很大程度上来自方法选择,网络实际上复现得较好;Burger 等(2023)在讨论问卷跳题结构时也引用了这场争论,说明对跳过的条目插补 0 会在数据中引入人为的依赖关系。

此后,Fried 等(2018)在四个跨文化、多中心的创伤后应激障碍临床治疗样本(合计 N=2782N = 2782,16 个症状)中估计正则化偏相关网络,网络结构的相关为 0.62–0.74,中心性估计的相关为 0.63–0.75:存在相当程度的共性,但并不完全一致。这场争论的主要收获是:整体结构比单条边和中心性排序更容易复现;网络结论需要稳定性检验、多样本比较和明确的报告(症状网络部分见症状网络与网络精神病学)。

案例二:脑网络与脑–行为关联

  • 分析灵活性:Botvinik-Nezer 等(2020)的 70 团队研究(见上文);预测市场显示,领域内研究者——即使直接了解该数据——也高估了得到显著结果的可能性。
  • 网络构建流水线:Luppi 等(2024)对 768 条功能连接组流水线的评估显示,不合适的流水线会产生系统性的误导结果。
  • 样本量:Marek 等(2022)说明了在典型样本量下的全脑关联研究普遍存在功效不足和效应量虚高。
  • 方法异质性:Hallquist 与 Hillary(2019)对 106 项临床图论研究的回顾(见网络研究的报告清单)。

动态功能连接中的可重复性问题见疾病中的脑网络与可重复性。

案例三:网络科学的“普遍规律”再检验

Broido 与 Clauset(2019)用统一的统计方法检验了来自多个领域的近千个真实网络的度分布,发现具有强幂律证据的网络并不多见,多数网络与幂律相比,对数正态等其他重尾分布拟合得同样好或更好(见 Broido 2019 与小世界与无标度的统计判别)。这是一个“用更严格的方法重新检验广为接受的结论”的负结果,引发了关于“无标度”应如何定义的讨论。它说明,即使是网络科学的基础性结论,也需要明确的统计检验和数据集层面的复现。

负结果的价值与发表

负结果(阴性结果、未能复现)是知识的一部分。如果只有阳性结果被发表,文献中的效应量就会被系统性高估,元分析也会因此偏倚。可以采取的做法包括:

  • 用注册报告的形式开展研究,使发表与结果无关(Chambers & Tzavella 2022);
  • 报告阴性结果时给出效应量的置信区间和功效(或可检出的最小效应),区分“证据表明不存在效应”与“证据不足”;
  • 把未能复现的结果与原研究在数据、方法上的差异一并报告,使之成为可解释的信息;
  • 把数据和代码共享到存储库,即使论文未发表,也可被元分析和后续研究使用。