推断结果的评估

指标

推断方法通常输出一个边的排序。评估时按排名逐步纳入边，画 ROC 曲线和精确率–召回率（PR）曲线：

• AUROC：随机抽一条真边和一条非真边，真边排得更靠前的概率；随机预测为 0.5。
• AUPR：PR 曲线下面积，近似为“每找到一条真边时的精确率”的平均；随机预测约等于真边比例 $\pi$。
• 早期精度（early precision）：前 $k$ 条预测中真边的比例，$k$ 取金标准中的真边数；早期精度比（EPR）是它与随机预测（$=\pi$）之比。BEELINE 同时报告 AUPR 比值与 EPR。实验验证的预算通常只够检验排名最前的几十条边，所以早期精度往往最贴近实际用途。

由于真边在全部候选边中极其稀少（常低于 1%），AUPR 比 AUROC 更有区分度（Saito & Rehmsmeier, 2015）。代码示例的“评估指标”单元构造了两个打分器：A 只把少数真边排在最前，B 把全部真边整体前移但前列被 30 个强假阳性占据。B 的 AUROC 更高（0.87 vs 0.70），但 A 的 AUPR（0.43 vs 0.14）和早期精度（0.40 vs 0）高得多。

手算算例：10 个候选对中有 3 条真边（$\pi=0.3$），按得分排序后的真假为 真、假、真、假、假、真、假、假、假、假。三条真边处的精确率分别为 $1/1$、$2/3$、$3/6$，AUPR $=(1+0.667+0.5)/3=0.72$，是随机的 2.4 倍；前 $k=3$ 条中有 2 条真边，早期精度 0.67，EPR $=2.2$；AUROC 为“真边排在假边前”的比例：第 1 名真边胜过 7 条假边，第 3 名胜过 6 条，第 6 名胜过 4 条，AUROC $=17/21=0.81$。

两项标志性评估

• DREAM5（Marbach 等，2012）：三十余种方法在模拟数据、大肠杆菌和酿酒酵母表达数据上同台比较（另有金葡菌数据，因缺乏可靠金标准未纳入评分），每份预测的 AUPR 与 AUROC 先与随机预测比较换算为 $p$ 值，再汇总成总分。没有一种方法在所有数据上都最好；把多种方法的排序整合起来（“群体智慧”）的结果最稳健；在酵母这类真核生物数据上，所有方法的表现都很有限。
• BEELINE（Pratapa 等，2020）：系统评估 12 种单细胞 GRN 推断算法。数据包括 6 种合成网络（线性、长线性、环、二分叉、二分叉汇合、三分叉）、4 个精心构建的布尔模型（皮层区域发育、腹侧脊髓发育、造血干细胞分化、性腺性别决定），以及 5 套真实单细胞数据；真实数据的金标准分三类：细胞类型特异 ChIP-seq、非细胞类型特异的调控数据库、STRING 功能相互作用。主要结论：方法在合成网络上比在布尔模型上表现好；在真实数据上，即使最好的方法表现也一般，多数方法的 EPR 接近随机；不需要拟时序的方法总体更准确。

金标准的局限

1. 不完整：漏标的真边被算作假阳性，精确率被系统性低估。代码示例中，把金标准删去一半真边后，同一打分器前 20 条的表观精确率从 0.40 降到 0.20，AUPR 从 0.43 降到 0.28。
2. 不特异：数据库中的调控关系多来自其他细胞类型或条件，在当前组织中未必活跃。
3. 证据类型不同：ChIP-seq 测结合，敲除实验测功能后果（含间接效应），共表达测关联。评估一种方法时，金标准的证据类型决定了“真边”的含义。
4. 偏倚：研究充分的转录因子拥有更多已知靶基因，偏好高表达、高连接基因的方法会因此占便宜。
5. 模拟的局限：模拟网络的真边完整，但模拟器的动力学假设（如 GeneNetWeaver、BoolODE）可能偏向某些方法；模拟上的排名不能直接外推到真实数据。