群体智慧实现稳健的基因调控网络推断
Wisdom of crowds for robust gene network inference
Marbach D, Costello JC, Küffner R, Vega NM, Prill RJ, Camacho DM, et al.; DREAM5 Consortium · Nature Methods 2012 · DOI: 10.1038/nmeth.2016
一句话看懂
从基因表达数据推断“谁调控谁”的算法有几十种,各家都说自己好。DREAM5 挑战让 29 个参赛团队在同一批隐去基因名的数据上盲推网络,再加上 6 种常用工具,统一用实验验证的调控关系打分。结论是:没有哪个方法在所有数据上都最好,但把所有方法的排序平均起来得到的“社区网络”,在不同数据上都接近或超过最好的单一方法。
研究背景与问题
基因调控网络推断是系统生物学的老问题(见网络推断问题:从“一起变化”到“谁调控谁”)。相关、互信息、回归、贝叶斯网络等方法层出不穷,但各自在不同数据、不同指标上评估,结果无法比较。更麻烦的是,方法开发者往往知道评估用的“答案”,容易无意中过拟合。
DREAM(Dialogue on Reverse Engineering Assessment and Methods)项目的做法类似蛋白质结构预测的 CASP 竞赛:组织者准备数据和金标准,参赛者在不知道答案的情况下提交预测,最后统一评估。本文是第五轮(DREAM5)网络推断挑战的总结。
核心思想与方法
- 四个数据集:一个模拟(in silico)网络,以及大肠杆菌、金黄色葡萄球菌、酿酒酵母的真实微阵列表达数据,涵盖多种实验条件,部分包含转录因子敲除或过表达。基因身份被匿名化。
- 金标准:模拟网络的答案已知;大肠杆菌用 RegulonDB 中有实验支持的调控关系;酵母用整合的结合与保守性数据;金黄色葡萄球菌缺乏足够大的金标准,不参与定量评分。
- 方法分类:35 种方法分为回归、互信息、相关、贝叶斯网络、元方法(组合多种方法)和其他六类。
- 评分:每个方法提交一份按置信度排序的调控边列表,用精确率–召回率曲线下面积(AUPR)和 ROC 曲线下面积(AUROC)评估,再与随机边列表比较换算为 值,汇总成总分。
- 社区整合:对每条候选边,取它在各方法排序中的平均名次,重新排序得到社区网络。
群体智慧(社区整合):设第 个方法给边 的排名为 ,社区得分为 ,按 从小到大排序即为社区预测。它不需要训练,也不需要知道哪个方法更好。
AUPR:在正例极少的网络推断中,AUPR 比 AUROC 更能反映排在前面的预测是否可靠。
主要发现
- 没有通用最优方法:总分最高的两种方法属于“其他”类(基于随机森林和方差分析),但它们只在大肠杆菌上最好;模拟数据上最好的是两种回归方法,酵母上最好的是两种元方法。同一类别内部的表现差异也很大。
- 方法有系统偏差:互信息和相关类方法更擅长恢复前馈环、扇入和扇出等较密集的结构,但对级联容易产生假阳性;稀疏回归和贝叶斯网络方法更擅长级联,却会漏掉前馈环中的直接边。
- 社区网络最稳健:在 35 种方法中,社区网络在模拟数据上排第 1,大肠杆菌上排第 3,酵母上排第 6,综合表现远超任何单一方法;只需整合少至三种互补的方法就能明显提升性能。
- 真核生物仍很难:在模拟和大肠杆菌数据上多数方法能较可靠地恢复调控关系,而在酵母数据上表现普遍差得多。作者发现,网络推断的基本假设“转录因子与靶基因的 mRNA 水平相关”在大肠杆菌中大体成立,在酵母中却不成立;酵母金标准覆盖度较低也可能是原因之一。经典工具 CLR 和 ARACNE 被若干参赛方法显著超过。
- 实验验证:作者为大肠杆菌和金黄色葡萄球菌各构建了约 1700 条调控关系的高置信社区网络(估计精确率约 50%);在大肠杆菌中实验检验了 53 条新预测,其中 23 条得到支持(43%)。
怎样读这篇论文
先看图 1,它把挑战流程(数据准备、匿名化、提交、整合、评估)画得很清楚。然后看图 2:各方法在三个网络上的得分和按基序类型的表现,这是“没有通用最优”和“方法有系统偏差”的证据。图 3 说明整合多少个方法、哪些方法最有效。表 1 列出 35 种方法的简要描述,可以挑你熟悉的方法(如 ARACNE、CLR)看它们的位置。补充材料很长,评分细节按需查阅。
局限与后续工作
- 金标准不完整:RegulonDB 只包含已被研究的调控关系,许多“假阳性”可能是尚未验证的真关系;酵母金标准质量更低,也可能部分解释其表现差。
- 微阵列与批量数据:挑战使用的是批量表达谱,没有单细胞、染色质可及性等信息。后续 BEELINE(Pratapa 等, 2020, Nature Methods)对单细胞推断方法做了类似的基准评估,结论同样是方法间差异大、整体准确度有限。
- 相关不等于调控:大多数方法基于观测数据的统计依赖,推断出的边是候选的调控关系,而非因果证明;23/53 的验证率说明一半以上的高分预测仍未得到支持。
- 群体智慧的条件:整合有效的前提是各方法的错误相对独立;如果方法高度相似,平均排名不会带来好处。
- 后续发展:DREAM 后续挑战扩展到疾病模块识别(Choobdar 等, 2019, Nature Methods);Marbach 等(2016, Nature Methods)构建了数百个人类组织与细胞类型特异的调控网络,并研究其与复杂疾病的关系。
关联知识
- 推断结果的评估以本文为核心例子,基因调控网络推断与共表达分析的核心文献也收录本文;超越相关:信息论、树模型与单细胞方法介绍的基于树模型和互信息的方法在 DREAM5 中都有代表。
- 推断方法在前馈环与级联上的系统偏差,与网络基序:自调控与前馈环(Shen-Orr 等, 2002)直接相关。
- “整合多种不完美方法”的思路,也适用于药物重定位:从网络预测到外部验证中整合多个数据源预测药物–疾病关系,但要警惕信息泄漏与共同偏差。
延伸思考
- 为什么在网络推断中 AUPR 比 AUROC 更有信息量?请用正例比例约为 1% 的情形举例说明。
- 如果所有方法都依赖同一个表达矩阵,它们的错误还能被视为相互独立吗?社区整合在什么情况下会失效?
- 所有方法在酵母数据上都表现较差。请从数据(实验条件、转录后调控等机制)和金标准两方面提出可能原因,并设计一个分析区分它们。