多元宇宙分析与设定曲线
从“一个分析”到“分析的集合”
Steegen 等(2016)指出,原始数据在变成分析数据集之前要经过一系列处理选择,每种合理选择组合都产生一个“数据宇宙”;只报告其中一个,等于隐藏了结论对处理选择的依赖。多元宇宙分析就是把所有合理的选择组合都跑一遍,并报告结果在这些宇宙中的分布。
Simonsohn 等(2020)提出的设定曲线分析(specification curve analysis)给出了一个标准化的流程:
- 界定设定:列出在理论上同样合理、统计上有效、彼此不冗余的分析设定。
- 呈现结果:把所有设定的效应量从小到大排序作图(设定曲线),下方用指示面板标出每个设定对应的选择。
- 联合推断:在原假设下(如打乱组标签)重复整个过程,构造“全部设定的结果都只是噪声”时设定曲线的分布,据此检验观测到的曲线是否异常(例如中位效应量、显著设定的个数)。
多元宇宙的规模:若有 个分析环节,第 个环节有 种合理选择,则宇宙总数为 。例如 3 种边统计量 × 4 个密度 × 2 个指标 = 24 个宇宙;再加 3 种图谱和 2 种预处理就变成 144 个。
网络构建中的具体做法
- 列维度:对照“网络分析中常见的敏感点”表,选出与研究问题相关、且确实没有公认最优选择的环节。已知错误的选择(如对计数数据用未经变换的 Pearson 相关)不应放进来。
- 控制规模:组合爆炸时,可以只对少数关键维度做全组合,其余维度单独变动;或像 Dafflon 等(2022)那样,在由流水线相似性构成的低维空间中用主动学习近似地探索整个多元宇宙。
- 推断层次:对每个宇宙都做零模型或置换检验,且置换要包住整条流水线(每次置换都重新计算相关、阈值化和指标)。
- 呈现:设定曲线、按维度分组的效应量箱线图,或“每个维度对结果方差的贡献”。报告显著宇宙的比例时,同时报告效应方向是否一致。
- 区分“多元宇宙”与“流水线评估”:Luppi 等(2024)系统评估了 768 条静息态 fMRI 网络构建流水线(组合脑图谱、连接定义与全局信号回归等选择),用头动混杂、重测一致性、对个体差异和实验效应的敏感性等标准评价它们,发现多数流水线至少在一项标准上不合格,但也存在一组在多个数据集上都表现良好的流水线。这提示:并非所有宇宙都同样可信,如果已有独立的质量标准,应先用它排除不合格的选择,再对剩下的选择做多元宇宙分析。
多团队分析:多元宇宙的“自然实验”。除 Botvinik-Nezer 等(2020)的 fMRI 研究外,Silberzahn 等(2018)请 29 个团队(61 名分析者)用同一数据回答同一问题,估计的效应量(比值比)从 0.89 到 2.93 不等,20 个团队(69%)得到显著正效应、9 个不显著;分析者的先验信念和专业水平都不能解释这种差异。在基因网络推断中,DREAM5 对多种方法的社区评测也显示,不同方法推断出的网络差异很大,而整合多种方法的结果更稳健(见 Marbach 2012)。
本专题代码示例“多元宇宙分析”构造了 24 个宇宙,在每个宇宙中做 200 次组标签置换,按效应量排序打印设定曲线。在这组模拟数据中,效应的方向和显著性都随边统计量、密度和指标而变化,只有少数宇宙达到显著。这种结果本身就是有价值的报告内容。
多元宇宙分析不能把有缺陷的选择“平均”成可信结论,也不是“显著宇宙超过一半就算成立”。它回答的是“结论对哪些选择敏感”。理想情况下,主分析在预注册中指定,多元宇宙作为稳健性检验同样事先规划。