生物医学网络科学Biomedical Network Science
经典论文难度:进阶

群体智慧实现稳健的基因调控网络推断

Wisdom of crowds for robust gene network inference

Marbach D, Costello JC, Küffner R, Vega NM, Prill RJ, Camacho DM, et al.; DREAM5 Consortium · Nature Methods 2012 · DOI: 10.1038/nmeth.2016

基因调控网络推断DREAM5群体智慧集成方法AUPR金标准

一句话

DREAM5 挑战对 35 种网络推断方法做盲评,发现没有单一方法始终最优,而整合多种方法的“社区网络”最稳健。

相关专题:基因调控网络推断与共表达分析、生物分子网络与拓扑特征

一句话看懂

从基因表达数据推断“谁调控谁”的算法有几十种,各家都说自己好。DREAM5 挑战让 29 个参赛团队在同一批隐去基因名的数据上盲推网络,再加上 6 种常用工具,统一用实验验证的调控关系打分。结论是:没有哪个方法在所有数据上都最好,但把所有方法的排序平均起来得到的“社区网络”,在不同数据上都接近或超过最好的单一方法。

研究背景与问题

基因调控网络推断是系统生物学的老问题(见网络推断问题:从“一起变化”到“谁调控谁”)。相关、互信息、回归、贝叶斯网络等方法层出不穷,但各自在不同数据、不同指标上评估,结果无法比较。更麻烦的是,方法开发者往往知道评估用的“答案”,容易无意中过拟合。

DREAM(Dialogue on Reverse Engineering Assessment and Methods)项目的做法类似蛋白质结构预测的 CASP 竞赛:组织者准备数据和金标准,参赛者在不知道答案的情况下提交预测,最后统一评估。本文是第五轮(DREAM5)网络推断挑战的总结。

核心思想与方法

  1. 四个数据集:一个模拟(in silico)网络,以及大肠杆菌、金黄色葡萄球菌、酿酒酵母的真实微阵列表达数据,涵盖多种实验条件,部分包含转录因子敲除或过表达。基因身份被匿名化。
  2. 金标准:模拟网络的答案已知;大肠杆菌用 RegulonDB 中有实验支持的调控关系;酵母用整合的结合与保守性数据;金黄色葡萄球菌缺乏足够大的金标准,不参与定量评分。
  3. 方法分类:35 种方法分为回归、互信息、相关、贝叶斯网络、元方法(组合多种方法)和其他六类。
  4. 评分:每个方法提交一份按置信度排序的调控边列表,用精确率–召回率曲线下面积(AUPR)和 ROC 曲线下面积(AUROC)评估,再与随机边列表比较换算为 pp 值,汇总成总分。
  5. 社区整合:对每条候选边,取它在各方法排序中的平均名次,重新排序得到社区网络。

群体智慧(社区整合):设第 mm 个方法给边 ee 的排名为 rm(e)r_m(e),社区得分为 r‾(e)=1M∑m=1Mrm(e)\bar r(e)=\frac{1}{M}\sum_{m=1}^{M} r_m(e),按 r‾\bar r 从小到大排序即为社区预测。它不需要训练,也不需要知道哪个方法更好。

AUPR:在正例极少的网络推断中,AUPR 比 AUROC 更能反映排在前面的预测是否可靠。

主要发现

  1. 没有通用最优方法:总分最高的两种方法属于“其他”类(基于随机森林和方差分析),但它们只在大肠杆菌上最好;模拟数据上最好的是两种回归方法,酵母上最好的是两种元方法。同一类别内部的表现差异也很大。
  2. 方法有系统偏差:互信息和相关类方法更擅长恢复前馈环、扇入和扇出等较密集的结构,但对级联容易产生假阳性;稀疏回归和贝叶斯网络方法更擅长级联,却会漏掉前馈环中的直接边。
  3. 社区网络最稳健:在 35 种方法中,社区网络在模拟数据上排第 1,大肠杆菌上排第 3,酵母上排第 6,综合表现远超任何单一方法;只需整合少至三种互补的方法就能明显提升性能。
  4. 真核生物仍很难:在模拟和大肠杆菌数据上多数方法能较可靠地恢复调控关系,而在酵母数据上表现普遍差得多。作者发现,网络推断的基本假设“转录因子与靶基因的 mRNA 水平相关”在大肠杆菌中大体成立,在酵母中却不成立;酵母金标准覆盖度较低也可能是原因之一。经典工具 CLR 和 ARACNE 被若干参赛方法显著超过。
  5. 实验验证:作者为大肠杆菌和金黄色葡萄球菌各构建了约 1700 条调控关系的高置信社区网络(估计精确率约 50%);在大肠杆菌中实验检验了 53 条新预测,其中 23 条得到支持(43%)。

怎样读这篇论文

先看图 1,它把挑战流程(数据准备、匿名化、提交、整合、评估)画得很清楚。然后看图 2:各方法在三个网络上的得分和按基序类型的表现,这是“没有通用最优”和“方法有系统偏差”的证据。图 3 说明整合多少个方法、哪些方法最有效。表 1 列出 35 种方法的简要描述,可以挑你熟悉的方法(如 ARACNE、CLR)看它们的位置。补充材料很长,评分细节按需查阅。

局限与后续工作

  • 金标准不完整:RegulonDB 只包含已被研究的调控关系,许多“假阳性”可能是尚未验证的真关系;酵母金标准质量更低,也可能部分解释其表现差。
  • 微阵列与批量数据:挑战使用的是批量表达谱,没有单细胞、染色质可及性等信息。后续 BEELINE(Pratapa 等, 2020, Nature Methods)对单细胞推断方法做了类似的基准评估,结论同样是方法间差异大、整体准确度有限。
  • 相关不等于调控:大多数方法基于观测数据的统计依赖,推断出的边是候选的调控关系,而非因果证明;23/53 的验证率说明一半以上的高分预测仍未得到支持。
  • 群体智慧的条件:整合有效的前提是各方法的错误相对独立;如果方法高度相似,平均排名不会带来好处。
  • 后续发展:DREAM 后续挑战扩展到疾病模块识别(Choobdar 等, 2019, Nature Methods);Marbach 等(2016, Nature Methods)构建了数百个人类组织与细胞类型特异的调控网络,并研究其与复杂疾病的关系。

关联知识

延伸思考

  1. 为什么在网络推断中 AUPR 比 AUROC 更有信息量?请用正例比例约为 1% 的情形举例说明。
  2. 如果所有方法都依赖同一个表达矩阵,它们的错误还能被视为相互独立吗?社区整合在什么情况下会失效?
  3. 所有方法在酵母数据上都表现较差。请从数据(实验条件、转录后调控等机制)和金标准两方面提出可能原因,并设计一个分析区分它们。