Reliable Evaluation of RNA–Protein Binding Residue Prediction: An Integrated Summary Based on GraphBind, EquiPNAS, and a 2025 Review

1. 范围与核心结论

本文所说的“RNA–蛋白质预测”特指：给定蛋白质序列、实验结构或预测结构，判断蛋白质中的每个氨基酸残基是否为 RNA-binding residue（RBR，RNA 结合残基）。它不是判断一条蛋白质是否结合 RNA，也不是直接预测完整的蛋白质–RNA 复合物结构。

综合 GraphBind、EquiPNAS 和 Basu 等人的 2025 年综述，可以得到一个核心判断：可靠评估不能由单个测试集上的高 ROC-AUC 证明。 一个可信的评估体系至少需要同时控制数据同源性、类别不平衡、阈值选择、输入结构质量、生物学分布偏移以及 DNA/RNA 交叉预测，并以蛋白质为独立统计单位报告不确定性。

三篇资料分别承担不同角色：

资料	方法学角色	对可靠评估的主要贡献
GraphBind（2021）	经典结构感知 benchmark	给出 BioLiP 标签、时间划分、30% 序列一致性过滤、验证集选阈值、MCC/F1/ROC-AUC 和预测结构测试
EquiPNAS（2024）	现代结构感知 benchmark 扩展	复用 GraphBind 数据，加入更新的 Test_181、PR-AUC、AlphaFold2 输入、pLDDT 分层和系统消融
Basu 等（2025）综述	外部有效性与领域盲区	指出新旧方法比较中的同源偏差、结构化区域与无序区分布偏移、DNA/RNA 交叉预测和核酸亚型缺失

2. 术语表

术语	本文含义
RBR	RNA-binding residue，RNA 结合残基
DBR	DNA-binding residue，DNA 结合残基
partner-independent prediction	不提供具体 RNA 伙伴，仅根据孤立蛋白预测结合残基
residue-level micro-average	汇总所有蛋白的残基后统一计算指标，长蛋白影响更大
protein-level macro-average	先对每条蛋白计算指标，再对蛋白取平均，每条蛋白权重相同
ROC-AUC	ROC 曲线下面积；在严重不平衡任务中可能显得乐观
PR-AUC	Precision–Recall 曲线下面积；对正类稀少更敏感
MCC	Matthews correlation coefficient，同时使用 TP、TN、FP 和 FN
IDR	intrinsically disordered region，内在无序区

3. 任务定义必须先于模型比较

可靠评估首先要固定任务，否则排行榜没有可比性。至少应区分以下三类输入场景：

序列输入：只使用氨基酸序列及其衍生特征；
序列 + 预测结构：使用 AlphaFold2 等方法生成的单体结构；
序列 + 实验结构：使用 PDB 中实验解析的蛋白质结构。

三个场景不能混在一个排行榜中。实验结构包含的信息通常优于预测结构，而预测结构又不是严格意义上的纯序列方法。EquiPNAS 的重要贡献之一，正是分别测试实验结构和 AlphaFold2 结构，而不是只报告最佳输入条件下的结果。

还应说明预测是 partner-independent 还是 partner-specific。GraphBind 和 EquiPNAS 主要研究前者：模型不知道具体 RNA 的序列、结构和构象。因此，它们测量的是蛋白质表面的潜在 RNA 结合倾向，而不是针对某个给定 RNA 伙伴的条件性界面预测。

4. 数据集与标签：可靠性的第一道门槛

4.1 GraphBind 的 RNA benchmark

GraphBind 从 BioLiP 的蛋白质–核酸复合物中构建数据。结合标签依据原子距离确定：当目标残基与核酸之间的最小原子距离小于“0.5 Å 加两个最近原子的范德华半径之和”时，该残基被标记为结合残基。

RNA 数据集如下：

数据集	蛋白质链数	结合残基数	非结合残基数	正类比例
RNA-495Train	495	14,609	122,290	约 10.7%
RNA-117Test	117	2,031	35,314	约 5.4%

测试集正类比例仅约 5.4%，表明这是严重类别不平衡任务。一个“全部预测为非结合”的模型虽然准确率可超过 94%，但完全没有生物学用途。因此，Accuracy 不应作为主要指标。

4.2 GraphBind 的数据独立性设计

GraphBind 采用了两个有价值的控制：

按数据库发布日期进行训练–测试时间划分；
使用 CD-HIT 移除与训练蛋白序列一致性超过 30% 的测试蛋白，并控制训练–验证相似性。

这比按残基随机划分可靠得多，因为残基随机划分会让同一蛋白的高度相关残基同时进入训练集和测试集。

然而，30% 全局序列一致性不是“完全独立”的充分条件。仍需进一步审计：

相同结构域或折叠是否跨越训练集和测试集；
同一 PDB 复合物的不同链是否跨集合；
局部 RNA 结合结构环境是否高度相似；
PSSM、HHblits 或 MSA 搜索数据库是否包含测试蛋白或近同源序列；
标签转移式数据增强是否引入或放大错误标签。

后三项是根据模型评估原则提出的复现审计问题，不能被理解为三篇论文已经证实存在数据泄漏。

4.3 推荐的数据划分层级

从弱到强，可将证据分成五级：

残基随机划分：不可接受；
蛋白质随机划分：避免同一蛋白泄漏，但不能避免同源泄漏；
同源簇划分：训练、验证、测试按蛋白质家族或聚类组整体划分；
同源簇 + 时间划分：测试集来自训练截止日期之后；
外部前瞻测试：模型冻结后，使用后续新释放且经过同源过滤的数据。

RNA 结合位点预测至少应达到第 3 级，声称“对新蛋白具有泛化能力”时应争取达到第 4 或第 5 级。

5. 指标：为什么不能只看 ROC-AUC

5.1 建议的主指标

可靠评估建议使用：

PR-AUC：衡量在不同召回水平下预测阳性的纯度；
MCC：在固定阈值下综合评价 TP、TN、FP 和 FN；
protein-level macro F1/MCC：防止长蛋白支配总体结果。

辅助报告：ROC-AUC、Precision、Recall、F1、特定 Precision 下的 Recall，以及推理时间。

5.2 PR-AUC 必须与正类比例一起解释

随机分类器的预期 PR-AUC 等于正类比例。RNA-117Test 的正类比例约为 0.054，因此其随机 PR-AUC 基线约为 0.054。

EquiPNAS 在使用 AlphaFold2 预测结构时，于 RNA-117Test 上获得 ROC-AUC 0.886、PR-AUC 0.320；同一比较中的 GraphBind 为 ROC-AUC 0.793、PR-AUC 0.204。PR-AUC 的提升说明 EquiPNAS 不只是改善了整体排序，还提高了稀少正类附近的识别质量。不过，这些结果仍应同时给出置信区间和逐蛋白分布，不能只比较两个汇总点估计。

5.3 micro-average 与 macro-average 应同时报告

若把所有残基合并计算，长度为 1,000 的蛋白会比长度为 100 的蛋白获得约十倍权重。这样得到的总体指标可能很好，但模型可能在许多短蛋白上失败。

因此建议同时报告：

residue-level micro PR-AUC/MCC；
protein-level macro PR-AUC/MCC；
每条蛋白指标的中位数和四分位距；
完全没有正确识别出任何 RBR 的蛋白质比例。

6. 阈值、模型选择与测试集隔离

GraphBind 不直接使用 0.5 阈值，而是在验证集上选择使 MCC 最大的阈值。这一原则是正确的：训练、超参数选择、早停和分类阈值均不得接触测试标签。

建议遵守以下流程：

训练集：拟合参数
验证集：选择特征、超参数、早停轮次和分类阈值
测试集：只在最终冻结模型上使用一次

若反复查看测试集后修改模型，即使测试集从未直接参与梯度计算，也已经发生测试集适配。此时测试集实际上变成了验证集，需要另设最终外部测试集。

阈值相关指标还应至少报告两个使用场景：

高召回场景：适合先广泛筛选、后续验证成本较低的实验；
高精确率场景：适合实验验证昂贵、需要减少假阳性的情形。

7. 预测结构鲁棒性：EquiPNAS 带来的关键扩展

GraphBind 以实验结构为主要输入，并发现使用建模结构会降低性能，说明结构误差会直接影响局部图构建。EquiPNAS 进一步系统比较了实验结构与 AlphaFold2 结构，并按 pLDDT 对测试蛋白分层。其结果显示，高置信度预测结构通常产生更好的结合位点预测。

因此，“能够使用 AlphaFold2 结构”本身不等于“对结构误差鲁棒”。可靠评估至少应包括：

实验结构与预测结构的配对性能差；
按平均 pLDDT 或局部结合区域 pLDDT 分层；
对坐标添加扰动或使用不同结构预测器的敏感性测试；
缺失残基、低置信度环区和多结构域蛋白的独立结果；
是否使用实验复合物中的结合态蛋白构象，及其与无配体构象之间的差异。

最后一点非常重要：如果模型输入来自蛋白质–RNA 复合物中的结合态结构，其局部构象可能已经包含界面形成后的信息，不能自动代表真实的未结合预测场景。

8. 消融实验应回答“为什么有效”，而不只是“去掉后变差”

EquiPNAS 分析了 pLM、PSSM、MSA、ESM-2 模型规模和 E(3) 等变网络的贡献，并比较了等变与非等变网络在实验结构和预测结构下的表现。这样的设计比单纯比较最终排行榜更有解释力。

可靠的消融实验应满足：

只改变一个因素；
其余输入、训练预算和超参数搜索机会一致；
每个变体采用多个随机种子；
报告差值的置信区间，而不是只报告最佳运行；
区分“删除信息源”和“替换网络结构”；
同时比较精度、速度、显存和外部泛化。

需要额外警惕预训练信息。ESM-2 等蛋白质语言模型不直接使用 RBR 标签训练，但其预训练语料可能包含测试蛋白或近同源蛋白。因此，pLM 特征提升不等同于严格意义上的“从未见过该蛋白家族”。若研究目标是远同源泛化，应按家族距离分层，并公开预训练模型和序列数据库版本。

9. 统计检验：以蛋白质为独立单位

GraphBind 和 EquiPNAS 都采用从测试目标中随机抽取 70%、重复十次的方式比较方法，并根据正态性选择统计检验。这能提供一定的稳定性信息，但重复子样本之间大量重叠，不能视为十个完全独立实验。

更可靠的统计方案是：

对每条测试蛋白保留两个模型的配对预测；
以蛋白质为单位进行 paired bootstrap 或 permutation test；
报告性能差值及其 95% 置信区间；
若比较多个模型或多个数据子集，进行多重检验校正；
将不同随机种子的训练变异与测试样本抽样变异分别报告。

统计显著不等于实际重要。除 P 值外，还应报告 PR-AUC、MCC 或 Recall 的绝对差值，并结合实验筛选成本解释其应用意义。

10. 综述揭示的两个关键外部有效性问题

10.1 结构化区域与内在无序区不是同一分布

2025 年综述指出，许多方法的训练标签来自 PDB/BioLiP，因此主要覆盖能够被结构解析的结合区域。IDR 中的 RNA 结合可能伴随结合诱导折叠，并具有不同的氨基酸组成和界面特征。综述引用的比较显示，结构训练方法在结构注释与无序区注释上的性能可能显著不同。

因此，一个只在 PDB/BioLiP 测试集上表现良好的模型，不能直接声称适用于所有 RBR。应分别报告：

结构化区域 RBR；
IDR 中的 RBR；
同时包含两类区域的完整蛋白；
对低结构置信度区域的校准情况。

10.2 必须测量 DNA/RNA 交叉预测

RNA 和 DNA 在化学组成与结合环境上具有共性。模型可能学到“泛核酸结合”特征，而没有真正学会区分 RNA 与 DNA。综述汇总的既往研究表明，一些 RBR predictor 会把大量 DBR 预测为 RBR，反向混淆也存在。

因此，RBR 模型除在 RNA-binding proteins 上测试外，还应加入：

DNA-binding proteins 作为 hard negatives；
同时具有 DNA/RNA 结合能力的蛋白质；
非核酸配体结合残基和一般蛋白质表面残基；
RNA 类型分层，例如 mRNA、rRNA、tRNA、miRNA 和 siRNA。

建议报告 RNA→DNA cross-prediction rate，以及多类别混淆矩阵。只有当模型既能识别 RBR，又能抑制对 DBR 的错误预测时，才能声称具有 RNA 特异性。

11. 基线比较必须做到“同任务、同数据、同输入”

比较模型时，应固定：

完全相同的训练、验证和测试蛋白；
完全相同的残基标签规则；
相同输入场景，例如都使用 AlphaFold2 结构；
相同的外部数据库截止日期；
相同的阈值选择原则；
相同的 micro/macro 统计口径。

GraphBind-G 与 P2Rank 的比较说明了任务错位风险：GraphBind-G 直接预测残基，而 P2Rank 原本预测口袋。把预测口袋中的全部残基都算作阳性，会自然提高 Recall、降低 Precision。因此，该结果支持“GraphBind-G 在转换后的 COACH420 残基评价中更均衡”，但不足以单独证明“GNN 普遍优于随机森林”。同理，RNA 位点预测中的排行榜也必须排除输入、标签和任务定义差异造成的表面优势。

12. 推荐的最低可靠评估协议

12.1 数据

按蛋白质同源簇划分训练、验证和测试集；
测试集与训练集全局序列一致性低于 30%，并补充结构域/结构相似性审计；
保留时间外独立测试集；
公开蛋白质链、PDB/BioLiP 版本、标签距离规则和去冗余脚本；
防止同一复合物、近重复链或标签转移来源跨集合；
固定 PSSM/MSA 检索数据库版本。

12.2 三条独立赛道

sequence-only；
sequence + predicted structure；
sequence + experimental structure。

12.3 指标

主指标：PR-AUC、MCC、protein-level macro F1；
辅助指标：ROC-AUC、Precision、Recall、校准误差和运行成本；
同时报告正类比例、随机 PR-AUC 基线和 95% 置信区间；
阈值仅由验证集确定。

12.4 压力测试

低同源和新发布日期蛋白；
高、中、低 pLDDT；
structured region 与 IDR；
RNA/DNA 交叉预测；
不同 RNA 类型；
不同蛋白长度、结合残基比例和物种；
多个随机种子与模型消融。

12.5 复现

发布代码、环境、权重和未经后处理的逐残基分数；
保存每条蛋白的预测，而不只给总体指标；
记录模型选择和测试次数；
在模型和阈值冻结后执行最终测试。

13. 可直接使用的结果报告表

项目	必报内容
任务	RBR；partner-independent/partner-specific；输入场景
数据	蛋白数、残基数、正类比例、数据库版本、时间范围
独立性	序列阈值、聚类方法、结构/结构域审计、复合物去重
标签	距离规则、缺失残基处理、是否包括 IDR
模型选择	验证集、早停、超参数搜索、阈值选择
主结果	micro PR-AUC、macro PR-AUC、MCC、F1、95% CI
鲁棒性	AlphaFold2、pLDDT、低同源、IDR、RNA 类型
特异性	DBR→RBR 交叉预测率、多类别混淆矩阵
统计	独立单位、随机种子、配对检验、多重校正
复现性	代码、权重、数据划分、逐残基原始分数、运行成本

14. 综合判断

GraphBind 建立了一个较规范的结构感知 RBR benchmark：它使用时间划分、序列去冗余、独立验证集选阈值，并报告适合不平衡分类的 MCC。EquiPNAS 在此基础上加入 PR-AUC、更新测试集、AlphaFold2 输入、结构置信度分层和更系统的消融，使评估更接近实际大规模应用。2025 年综述则揭示了两篇方法论文的 benchmark 仍难覆盖的边界：结构化数据对 IDR 的代表性不足，以及 RBR 与 DBR 之间的交叉预测。

因此，最可信的结论不是“某模型在 RNA-117Test 上的 AUC 最高”，而是：当训练与测试在蛋白家族层面独立，模型选择不接触测试集，并且在类别不平衡、预测结构误差、IDR 分布偏移和 DNA/RNA 特异性测试中仍保持稳定时，才能认为该 RBR predictor 具有可靠的泛化能力。

参考资料与原文定位

Xia Y, Xia C-Q, Pan X, Shen H-B. GraphBind: protein structural context embedded rules learned by hierarchical graph neural networks for recognizing nucleic-acid-binding residues. Nucleic Acids Research, 2021, 49(9): e51. DOI: 10.1093/nar/gkab044。重点依据：数据与标签见第 2–3 页；阈值和指标见第 7–9 页；RNA-117Test 结果见表 3；预测结构与局限性见第 13–16 页。
Roche R, Moussad B, Shuvo MH, Tarafder S, Bhattacharya D. EquiPNAS: improved protein–nucleic acid binding site prediction using protein-language-model-informed equivariant deep graph neural networks. Nucleic Acids Research, 2024, 52: e27. DOI: 10.1093/nar/gkae039。重点依据：数据与评价指标见第 4–5 页；测试与显著性分析见第 5–6 页；pLDDT 分层及消融见第 8–10 页；范围与局限性见第 11–12 页。
Basu S, Yang Y, Kurgan L. Prediction of nucleic acid binding residues in protein sequences: Recent advances and future prospects. Current Opinion in Structural Biology, 2025, 94: 103085. DOI: 10.1016/j.sbi.2025.103085。重点依据：结构化区域与 IDR 的差异见第 2 页；同源性与性能比较见第 3–4 页；DNA/RNA 交叉预测和未来方向见第 4–5 页。

证据边界说明

数据集数值和论文报告的模型性能直接来自三篇资料。
关于更严格的结构域去重、预训练语料同源性审计、protein-level bootstrap、校准评价和最终一次性外部测试的内容，是基于三篇资料暴露的问题形成的评估建议，并非三篇论文均已实施。
综述中关于 IDR 性能差异和 DNA/RNA 交叉预测比例的论述属于该综述对既往研究的汇总；若用于正式论文中的定量引用，应进一步核对综述所引用的原始研究。