_

RNAdvisor: a comprehensive benchmarking tool for the measure and prediction of RNA structural model quality

中文释义：RNAdvisor：用于 RNA 结构模型质量测量与预测的综合基准评测工具。

阅读范围：完整正文及本地补充材料，包括方法公式、软件集成、使用情景和补充基准结果。以下以“正文 p.X”和“补充 p.X”标注原文位置，页码均从对应 PDF 的第一页起算。文中“精读判断”“复现建议”是对原文证据的分析，不代表作者已完成相应验证。本文中的软件与模型比较限定于这篇 2024 年论文，没有进行现今版本评测或实际运行 RNAdvisor。

1. 一页掌握论文

这篇论文的核心贡献是把 RNA 三维结构评价工具整合到统一接口，并证明：结构质量有多个互补维度，打分函数的表现取决于候选结构分布及评价目标。 RNAdvisor 自身不是新提出的 RNA 折叠模型，也不是新的统一质量指标；它提供评价与比较已有方法的基础设施。

最值得记住的三点：

1. 有参考结构的“质量测量”和没有参考结构的“质量预测”是两件事。 前者衡量模型与参考的差异，后者只能估计模型的可信程度或排序。
2. 近天然 decoy 上表现好，不保证对真实预测模型有效。 RASP 的天然结构命中数从 Test Set I 的 83/85 降到 Test Set III 的 2/21，是最直观的例子。
3. 评价标准会影响方法优劣。 能识别天然结构、能挑出低 RMSD 模型、能保留相互作用、能保持扭转角，各自对应不同能力。

2. 基本信息与研究定位

这里的 nativity 可译为“天然结构相似性”或“接近天然态的程度”，并非生物学中的“天然表达”。作者将实验求解结构视为参考，围绕模型能否接近该结构展开评价。

精读判断： 本文贡献主要在工程可用性和评价框架，而非推导新的分子能量函数。阅读时应关注“怎样评价才公平、怎样组合指标、怎样解释任务差异”，而不是寻找一个通吃所有 RNA 的新预测算法。

3. 研究背景：为什么需要 RNAdvisor？

3.1 RNA 结构预测的评价难点

RNA 的功能与结构相关，实验解析三维结构成本较高。计算方法可生成多个候选构象，但生成候选后仍有两个问题：

• 当实验结构已知时，怎样判断预测结构在哪些方面接近参考？
• 当实验结构未知时，怎样从多个候选中选出更可能接近天然态的结构？

一个 RNA 模型可能全局形状正确，但碱基配对错误；也可能局部扭转角和相互作用正确，而两个结构域之间的相对位置偏移。因此，“质量好”不是天然只有一个定义。（正文 pp.1-3）

3.2 现有工具的三类障碍

评价维度分散。 RMSD 关心原子坐标，INF 关心相互作用，MCQ 关心扭转角；它们不是完全可替代的测量。

打分函数的学习与构造有偏好。 基于统计势的方法取决于结构数据库和参考态；深度学习方法取决于训练结构、decoy 生成方式和监督目标。

使用成本高。 原有代码由不同团队编写，涉及 Python、C++、Java，依赖、调用方式和结果格式不同。作者希望把逐项安装和手工处理转变为一次调用与批量输出。（正文 pp.3-4；补充 pp.12-15）

3.3 本文的逻辑链

结构质量包含不同维度
    ↓
评价指标可能冗余，也可能互补
    ↓
不同打分函数可能偏向不同质量维度
    ↓
用多个来源的 decoy 集进行比较
    ↓
同时考虑选择效果、指标一致性、运行时间和碳排放估计
    ↓
给出统一工具与按场景选择方法的建议

4. 必须区分的两个概念

4.1 Quality measurement：有参考的质量测量

输入预测结构和参考结构，输出相似度或差异。RMSD、INF、DI、MCQ、TM-score、GDT-TS、CAD-score、lDDT、εRMSD 属于本文重点比较的参考型指标。

适用场景： 验证新预测方法、分析模型误差、与已有方法做基准比较。

4.2 Quality prediction：无参考的质量预测

只输入候选结构，通过统计势或学习模型得到分数；不需要在实际使用时知道该 RNA 的天然结构。本文实际比较 RASP、εSCORE、DFIRE-RNA、rsRNASP。

适用场景： 候选筛选、模型排序、折叠搜索或精修中的构象选择。

4.3 不能从“分数”直接推导出的含义

• 打分值通常不是“结构正确的概率”。
• 统计势受到热力学思想启发，不等于已标定的真实 Gibbs 自由能。
• 无参考函数的验证仍需要参考结构和评价指标。
• CLASH 是一个例外：它主要检查模型自身的立体碰撞，不要求与参考结构逐原子比较。它被作者列在 metrics 中，不意味着所有 metrics 都必须依赖天然参考。

作者在正文 pp.1-2 提到，缺乏相应热量测量数据，不能直接验证 MQAP 分数的热力学意义。因此应将这些分数理解为用于辨别构象的代理量。

5. 评价指标精读：每个指标究竟测什么？

下表中的方向对应通常的原始指标定义；实际软件输出尺度和预处理必须按具体实现核对。特别是 GDT-TS、lDDT 可能以 0-1 或百分数显示。

来源：正文 Tables 1-2、pp.2-3；补充 pp.1-8。DP（deformation profile）也在补充材料介绍，但没有作为正文九指标相关性分析中的单一分数。

5.1 RMSD：方便，但把很多不同错误压成一个数

用规范的坐标记号表达，叠合后的 RMSD 可写为：

其中 $x_i,y_i$ 是对应原子坐标，$R,t$ 是刚体旋转和平移，$N$ 是参与比较的原子数。补充 p.1 介绍 Kabsch 叠合，但其印刷公式缺少明确的平方范数；这里采用维度正确的解释式，而非逐字复制。

理解例子： 一个 RNA 的大部分区域正确，只有长末端偏移较大，RMSD 仍可能较高。另一个结构 RMSD 相似，却可能把多个关键碱基配对都预测错。这说明同一个 RMSD 可以对应不同生物结构错误。

补充 p.1 将约 2 Å 与“可信预测”联系起来，但不能将实验结构分辨率机械地当作所有 RNA、长度、原子集合与任务通用的 RMSD 合格线。

5.2 INF：把“结构像不像”转为“相互作用有没有重建”

记参考相互作用集合为 $S_r$，模型相互作用集合为 $S_m$：

补充材料给出的定义可整理为：

其中 PPV 为精确率，STY 为召回率/敏感度。可分别看碱基配对的 INFbp、碱基堆叠的 INFstack，或综合相互作用的 INFall。

精读注意： 补充 p.6 将这个几何平均称为 MCC，并把 PPV 称为 specificity；它与一般二分类中包含 TN 的标准 Matthews correlation coefficient，以及通常的 specificity 定义并不相同。阅读和实现时应以明确公式为准，不应只看名称。集合为空时的分母和缺失相互作用处理也要另行确认。

正文 p.6 对 INFall 的描述强调配对与堆叠的综合；“合并相互作用集合后计算”与“两个 INF 数值求均值”未必得到相同结果，复现时需要核对代码。

5.3 DI：有用的组合，但不是独立真值

若两个模型 RMSD 相同，相互作用保留较差的模型 DI 更大。若 INF 为 1，则 DI 等于 RMSD；若 INF 趋近 0，DI 急剧增大。DI 与 RMSD 的高相关部分来自公式本身，不能把这种相关性当成两个独立证据的相互验证。（补充 p.6；正文 Figure 2）

5.4 MCQ：周期角度的差异不能直接线性相减

359° 与 1° 的差异应是 2°，而不是 358°。MCQ 将 RNA 残基看作多个周期扭转角的集合，对角度差使用圆周意义上的距离，再通过正弦和余弦求圆周平均。

对有效角度，核心差异可表示为：

其中 $\bar t,\bar t'$ 为归一化到一个周期内的角度。补充 pp.7-8 给出 $D_{\sin}$、$D_{\cos}$ 的平均，并以双参数反正切汇总，即可理解为 $\operatorname{atan2}(D_{\sin},D_{\cos})$。补充还规定缺失角度的处理：两边都缺失计 0，一边缺失计 $\pi$。

MCQ 的价值是补充骨架和糖环构象信息；它与其他指标的相关程度会随数据集变化，不能笼统称为“完全独立”。

5.5 lDDT：局部距离保持，不依赖全局刚体叠合

补充 pp.4-5 的描述是：在参考结构中选取默认 15 Å 范围内的原子对，统计模型与参考的距离差分别小于 0.5、1、2、4 Å 的比例，再取平均。

全局叠合对多结构域相对运动敏感；lDDT 更直接关注局部环境是否保留。这解释了为什么作者将其与 MCQ、DI 搭配，而不是只报告 RMSD。

6. 打分函数精读：为什么会有不同排序偏好？

6.1 统计势的共同思想

统计势通常将天然结构中观察到的特征分布与某种参考态分布比较，形式上可示意为：

这个式子是便于理解的概括，不是四种函数共有的精确实现。不同特征、参考态、距离分箱、权重和训练数据都会改变偏好。

来源：正文 p.3；补充 pp.8-11。

6.2 rsRNASP：这里的“长短程”首先是序列间隔

补充 p.11 的公式核心是：

其中 $k$ 表示残基序列间隔，$k_0$ 是分类阈值，$w$ 平衡长程贡献。不能把该分类简单理解为只按空间距离分组。

补充材料记载的部分细节：短程与长程分别采用平均参考态和 random-walk-chain 参考态；原始方法使用 191 个非冗余 RNA 结构；距离分箱宽度为 0.3 Å，短程与长程距离截断为 13 Å 与 24 Å。这些是作者对原方法的介绍，并非 RNAdvisor 在本文新训练了一个模型。

6.3 εSCORE 的方向问题必须单独记住

补充 p.9 给出的原始表达为：

它累加经验概率兼容程度，因此不能不加处理地假定“原始值越低越好”。正文 Figure 3 明确说明将增长型分数（如 εSCORE）反向处理，以统一比较方向。

复现建议： 保存原始值和方向转换后的值，明确 εSCORE 是否取负、反向排序或做其他变换。正文 Table 3 使用“最低分识别天然结构”的统一措辞，必须结合这个方向处理理解。

6.4 为什么不能据本文判断深度学习不如统计势？

作者综述了 RNA3DCNN 和 ARES：前者从局部三维原子网格预测局部质量，再汇总；后者通过几何等变网络，从原子坐标和化学类型学习质量评分。补充 pp.11-12 介绍了各自训练数据与可能的 decoy 偏差。

但 RNAdvisor 实际评测没有纳入它们：

• 3dRNAScore：未成功取得可用源代码。
• ARES：作者未成功运行代码。
• RNA3DCNN：作者得到的结果与已发表结果相比不佳，因此未纳入。

能够支持的结论： 四种成功集成的函数具有不同优势。

不能支持的结论： 所有统计势优于所有深度学习质量预测模型，或 ARES/RNA3DCNN 本身没有效用。代码可用性与算法质量是不同问题。（正文 p.4、p.6）

7. RNAdvisor 工具：工程方法与使用方式

7.1 输入输出与处理流程

候选 PDB 文件 / 候选 PDB 目录
                  +
参考 PDB（仅参考型评价指标需要）
                  ↓
结构规范化与统一接口
                  ↓
Docker 环境内调用不同工具
                  ↓
解析原始输出
                  ↓
CSV 结果、运行时间、日志及按指定指标排序

补充 p.13 说明：只算打分函数需要一个模型 PDB；算参考型指标需要参考与模型两个 PDB；提供两者时默认也计算打分函数。可以将参考 PDB 与候选目录一起传入，进行批量评价。

7.2 九个代码来源

作者对部分代码做了接口、输出、安装或打包修改；这不意味着重新设计这些评价方法。Docker 降低环境配置障碍，但不能自动保证原子匹配、数据划分、分数方向和失败处理都科学一致。（补充 pp.12-13）

7.3 四个使用情景

“全部可用”指本文实际集成且可计算的方法，不代表所有已发表算法。情景通过 ALL_SCORES 等配置控制；补充材料中的具体情景名与配置写法应以论文对应版本的代码为准。（补充 p.15）

精读注意： 正文 Discussion 推荐 lDDT 作为互补组合之一，补充材料的低成本情景则采用 GDT-TS。两者侧重点不同，应分别记载，不能合并成一个作者未提出的固定方案。

8. 实验设计：三个数据集究竟在考什么？

来源：正文 pp.4-5。由给定数量直接推算，Test Set I 有 42,500 个 decoy，Test Set II 有 800 个 decoy；这是 decoy 数，不包括天然结构，也不等于独立 RNA 样本数。Test Set III 的精确候选总数未在这段正文中列出，不能自行补出。

8.1 为什么这个层次设计重要？

Test Set I 的结构通常只围绕天然态做局部扰动，因此“找到天然结构”更容易。Test Set II、III 的模型来自不同预测过程，可能存在局部几何合理而整体拓扑错误的构象，给打分函数提出不同挑战。

因此方法排名改变时，不能简单归结为模型变差；需要看输入结构分布是否变化。这也是本文最有价值的实验设计之一。

8.2 四种评测任务不能混读

正文 p.6 对函数-指标相关性分析明确说明排除天然结构。Table 4 的说明没有同样清楚地逐项交代候选范围；其最优 RMSD 基线非零，说明不能把它理解为简单地把天然结构也纳入 RMSD 最优候选而得到的结果。

9. 统计评价量：PCC 与 ES 要怎样理解？

9.1 PCC：线性相关程度

这里 $E_i$ 是打分值，$R_i$ 是质量指标值。PCC 衡量线性关联，不直接保证最佳候选能被排到最前面。

原文需要澄清的两点：

1. 正文 p.5 称 PCC 范围是 0-1；标准 Pearson 系数实际为 -1 到 1。低能量与高相似度之间可能天然呈负相关，方向转换必须说明。
2. 正文先说比较 ranked structures，随后公式以 energy 和 metric 原值定义。对原值求 Pearson 与对排名求 Pearson 是不同操作；后者与通常的 Spearman 秩相关定义有联系。论文给出的信息不足以确定所有处理中究竟采用原值、排名、方向转换还是绝对值，复现时应检查代码。

本文相关性结果以下按“作者报告的 PCC”引用，不擅自赋予它未经核对的预处理细节。

9.2 ES：两个最佳 10% 集合重叠多少？

两个 top 10% 集合分别按打分函数和质量指标的更好方向确定。理想情况下重合 $0.1N$ 个，因此 ES 为 10。

若两个各含 10% 样本的集合独立随机选取，期望交集为 $0.01N$，因此 ES 的随机期望约为 1。它是随机期望，不是任意一次实验都恰好等于 1。

手算例子： 40 个 decoy 的最佳 10% 是 4 个；两个集合重合 2 个，则 ES = 100 × 2/40 = 5。单个 RNA 的 ES 只能以 2.5 为步长变化；跨多个 RNA 平均后才可能出现 4.72 等数值。候选数量不整除 10 或存在并列时，取整和并列处理会影响结果。

9.3 为什么两个量都需要？

PCC 高意味着整体数值趋势较一致，ES 高意味着“最值得选的少数候选”更一致。模型筛选尤其关心后者，但两者都不能独立回答绝对质量是否足够好。

精读判断： 高 ES 只说明相对候选集的富集。例如一组候选整体都差，即使完全选对最好的 10%，最终结构仍可能不可用。

10. 主要结果一：评价指标存在重叠，但 MCQ 提供额外信息

10.1 汇总关系

正文 Figure 2 在下三角显示 PCC，在上三角显示 ES；作者将三个数据集的结果汇总。几个有代表性的数值如下。

10.2 MCQ 的互补性有明确数据集依赖

补充 Figures S1-S3 中，MCQ 与 RMSD 的关系为：

这组数据直接说明：在近天然扰动中，角度误差和坐标误差常一起变化；在更真实、更复杂的预测模型中，角度质量与整体坐标质量会明显分离。

精读判断： 作者将 MCQ 概括为与其他指标“不相关”，应理解为“相对较弱、提供互补信息”，尤其针对 Test Set II、III。0.35-0.55 等 PCC 不是数学上的完全独立，也不等于相关性为零。

10.3 指标选择的实际含义

若资源有限，可以优先覆盖三个维度：

• 坐标/整体差异与相互作用： DI，并保留其分量 RMSD、INF 便于解释。
• 局部环境： lDDT，或按成本与目标选择 GDT-TS。
• 周期几何： MCQ。

“保留 DI 分量”是精读中的可解释性建议，不是本文验证了一个新的最优组合。作者证据支持多维评价，但没有用下游任务严格证明某个三指标组合在所有 RNA 上都最优。

11. 主要结果二：天然结构识别与候选筛选给出不同排名

11.1 天然结构是否排第一？

正文 Table 3 原始计数如下。

数据核对： RASP 的三个分项为 83 + 2 + 2 = 87，与原文 Total 的 86 不一致。本笔记保留原文，不自行判定哪个分项有误；若分项正确，则汇总应为 87/126。该差异不改变 rsRNASP 汇总最高的结论，但使用 RASP 总成功率前应查原始结果。

最有代表性的比较：

• Test Set I：εSCORE 85/85，所有天然结构均排第一。
• Test Set II：rsRNASP 16/20，即 80%；RASP 2/20，即 10%。
• Test Set III：rsRNASP 18/21，约 85.7%；RASP 2/21，约 9.5%。
• rsRNASP 的汇总为 111/126，约 88.1%；这是含天然结构的识别任务成功比例，不是任意候选模型具有 88.1% 正确概率。

结论边界： rsRNASP 是本文四种函数中“更广泛数据来源下识别天然结构”的强选择，但在 Test Set I 上不是第一。直接说它“在三个数据集全部最好”不准确。

11.2 天然结构的平均名次

补充 Table S2 提供比命中数更细的信息，数字越小越好。

rsRNASP 在 Test Set III 有 18/21 次命中，平均名次仍是 3.64，提示少量失败案例可能偏离前列。没有逐 RNA 明细，不能确定究竟是哪几个案例导致，也不能仅凭平均值描述完整尾部分布。

11.3 从模型候选中选出的结构，RMSD 多低？

正文 Table 4 的均值如下；按指标定义，RMSD 单位为 Å，越低越好。

最后一行使用参考结构直接选择最低 RMSD 候选，是 oracle 基线：它告诉我们候选集中本来有什么水平的模型，不是实际无参考时可以使用的打分策略。

将选中模型与 oracle 的差距直接相减，可得到以下派生值：

这些差值是根据 Table 4 算出的解读辅助量，没有新增统计检验。

11.4 最重要的反直觉结果

εSCORE 在 Test Set I 天然结构识别达到 85/85，但所选候选模型平均 RMSD 为 5.16 Å，明显高于其他函数。

这两项结果并非必须互相矛盾：把天然结构与候选分开，以及在非天然候选之间做精细排序，本来就是不同任务。εSCORE 也可能更偏好某些碱基几何而非全局低 RMSD。由于 Table 4 候选范围和分数方向处理没有完全展开，具体机制仍需原始数据与代码验证，不能从汇总表直接证明。

另一个重要差异是：Test Set III 的候选 RMSD 选择中，DFIRE-RNA 为 10.04 Å，略优于 rsRNASP 的 10.23 Å。 没有置信区间或配对检验，不能将 0.19 Å 的均值差宣布为显著优势，但它足以提醒读者“天然识别最强”不等于“每项候选筛选指标都最强”。

12. 主要结果三：打分函数对不同质量维度有偏好

正文 Table 5 汇总每个函数最相关的指标；补充 Table S3 给出完整数值，且明确排除天然结构。

12.1 “最相关”不代表绝对表现强

在 Test Set II：

• RASP 与 MCQ 的 ES 是 2.42，PCC 是 0.48，已经是它较强的对应关系。
• εSCORE 与 MCQ 的 ES 仅 1.41；与 RMSD 的 ES 为 0.76，低于随机期望约 1。
• rsRNASP 与 lDDT 的 ES 是 4.72，PCC 是 0.54；与 GDT-TS 的 PCC 为 0.66。

因此 Table 5 的名称列表必须与 Table S3 的数值一起看。“某函数最相关的是 MCQ”只说明相对其他指标而言的偏好，并不保证它能高质量筛选候选。

12.2 泛化难度在相关性中也可见

以 RASP 和 RMSD 为例，Table S3 的 PCC 从 Test Set I 的 0.90 降到 Test Set II、III 的 0.36。其 ES 从 5.91 降到 1.26、1.00。这个变化与天然结构识别结果相互呼应：在人工近天然扰动上的强表现不能直接外推。

12.3 rsRNASP 也并非每个维度都突出

Test Set III 中，rsRNASP 对 CAD-score 的 ES/PCC 为 3.11/0.64，对 MCQ 的 ES/PCC 为 1.58/0.51。说明它对接触相关信息的选择能力更突出，对最佳角度构象的富集仍有限。

精读判断： 这些相关关系支持“评价多维度”的观点，但不能证明某函数通过某个因果机制改善了结构；相关性不能替代特征消融或结构案例分析。

13. 主要结果四：速度与资源代价会改变方法选择

13.1 时间实验怎么做？

作者选取 Test Set I 中 RNA 3f1h 的 A 链，长度 2878 nt；从 100 到 2800 nt，以 100 nt 为步长，每个长度随机创建 5 个子结构，计算平均运行时间。（正文 p.6、Figure 4）

这主要回答特定实验环境下随结构长度增长的运行成本；并非覆盖多种 RNA 家族和多种硬件的通用速度结论。

13.2 长 RNA 的代表时间

正文 pp.6-8 的 MCQ/lDDT 时间说明跨页且措辞不够清楚，以上对应关系结合 Figure 4B 曲线核对，不把“低于 20 s”误套给 lDDT。

若按约 639 s/结构对 1000 个 2800 nt 候选串行打分：

这与作者“超过 7 天 9 小时”的量级估计一致。并行化会改变墙钟时间与资源成本；本文没有给出足够证据为现代硬件或不同实现版本预估确切速度。

13.3 CO₂ 估计：适合比较实验成本，不能脱离条件外推

作者用 CodeCarbon 估计计算排放，Figure 5 展示三个数据集对不同方法的结果，报告 rsRNASP、CAD-score 较高，并提到约 0.011 g CO₂ 的量级。（正文 p.8）

图形阅读注意： Figure 5 为三个数据集的堆叠柱，柱总高度汇集了三组数值。不能把总高度直接当成某一个数据集、某一个 RNA 的准确排放；正文关于“per RNA”的措辞与图的堆叠汇总需要结合原始计算口径核对。

CAD-score 的排放估计高于 TM-score，但其运行时间更短。作者推测这与资源管理差异有关；此处是解释性推测，不是已经通过资源使用消融证明的因果结论。

精读判断： 方法成本应同时考虑时间、资源占用、结构大小和批量规模。运行较快不必然意味着更低排放；一个环境中的估计也不是算法固定不变的碳足迹常数。

14. 逐图逐表阅读索引

Figure 3 只展示一个 RNA，并做了尺度变换。曲线斜率较大并不能独立证明总体筛选更好；必须回到多 RNA 的 Table 3、Table 4、Table S3。该图图注写 eight metrics，而实际图中还有 lDDT，共九个子图，属于标注数量不一致。

15. 创新与证据强度评价

15.1 可信且有价值的贡献

工程整合具有实用意义。 九个独立代码源涉及多语言与不同依赖，统一安装环境和 CSV 输出能降低研究者实施多指标评测的成本。

跨 decoy 来源的设计揭示泛化问题。 Test Set I、II、III 的结果改变显著，比只展示一个扰动集更有解释力。

把评价标准本身纳入研究对象。 作者不仅比较打分函数，还研究指标之间、函数与指标之间的关联，提醒读者不要默认 RMSD 是唯一“真值”。

把计算代价纳入方法选择。 长度相关运行时间揭示了“效果好但过慢”在大规模筛选中的实际限制。

15.2 仍不足以成立的强结论

16. 局限与值得进一步核查的问题

以下是基于正文及补充材料的精读判断；没有进行源代码审计或重新实验。

16.1 Benchmark 覆盖并不完整

论文综述了七种打分函数，却只比较四种。未成功运行或取得代码会使评测范围受工程因素限制。因此“state-of-the-art”的综述定位不应被误读成全部方法都经过公平测试。

16.2 数据来源和训练重叠需要审计

Test Set I 与 RASP 原方法介绍都涉及 85 个结构及类似 decoy 生成方式；Test Set II 又来自 rsRNASP 提供的评测集合。这些联系提示需要核对序列、结构家族和训练来源重叠，但不能仅凭数字相同或同一个仓库就断言发生训练测试泄漏。

本文未展示足以完全排除这类问题的独立时间划分、家族划分或系统重叠审计。更强泛化结论需要额外证据。

16.3 独立样本是 RNA，不是所有 decoy

同一个 RNA 的 500 个扰动结构共享序列和折叠背景。把 42,500 个 decoy 都视作完全独立样本，会夸大证据量。汇总、置信区间与统计检验宜以 RNA/目标为单位，并说明是否跨家族聚类。

16.4 缺少结果不确定性与配对比较

正文表格主要报告命中数和均值，没有展示足够的置信区间、每 RNA 配对差值或显著性检验。0.19 Å 这类小的均值差异不能直接说明优劣稳健；更应分析不同长度、家族、预测器和质量区间的异质性。

16.5 方法失败可能影响公平性

CLASH 在多数 RNA 上失败，因此没有进入主要相关性比较。若各指标有效样本不同，比较必须说明共同样本范围、失败率、缺失值过滤和异常值处理。本文提供的解释不足以对全部边界情况做完整审计。

16.6 单一参考结构并不等于完整生物状态

RNA 可能存在构象集合，并受离子、配体和复合物背景影响。对一个实验参考的差异不必然等同于功能错误。这是参考型结构评价的普遍限制，本文没有通过多状态实验将其消除。

16.7 时间实验的外推受限

长度实验来自单个大 RNA 的子结构，每个长度 5 个随机样本。它支持实现成本随长度增长的观察，但不能严格推出通用渐近复杂度、跨家族速度或换硬件后的实际用时。

16.8 原文内部需要特别注意的地方

这些问题程度不同：部分只是编辑或术语问题；分数预处理、候选范围和样本处理则可能影响复现解释。不能因为有笔误否定全部实证结果，也不能忽略会改变排序的关键细节。

17. 如何把这篇论文用于自己的研究？

17.1 如果要评价新的 RNA 三维预测模型

以下是由本文启发的设计建议，并非作者已验证的固定流程。

1. 先定义目标。 是整体折叠、局部骨架、相互作用网络，还是实际候选筛选？避免只有一个含糊的“更好”。
2. 保留多维结果。 至少覆盖 RMSD/DI、INF、MCQ 与局部距离维度；报告 DI 时保留 RMSD、INF 分量。
3. 分层测试。 同时纳入近天然扰动、不同预测器输出和接近盲测场景的真实候选。
4. 同时评价 top-1 和候选质量。 天然识别命中、top-k、相对 oracle 的选择损失可以互补；不要用天然识别替代实际筛选结果。
5. 以 RNA 为单位汇总。 提供逐目标结果和不确定性，并按长度、家族、候选来源拆解。
6. 报告成本。 同时注明硬件、线程、软件版本、运行时间、失败率和适用结构规模。

17.2 如果要给无参考模型排序

根据本文证据，可把 rsRNASP 作为需要较强跨来源辨别能力时的基线之一，把 DFIRE-RNA 作为长 RNA 或大量候选时的速度基线；εSCORE 可作为碱基几何的辅助视角，但不能根据 Test Set I 的天然命中率就假定其候选 RMSD 排序可靠。

不要将不同函数的原始分数直接求平均。它们的尺度、方向和结构长度依赖可能不同。组合排序前需要定义归一化、训练/验证数据和优化目标。

可进一步测试的想法： 先用较快函数筛一批候选，再用 rsRNASP 精排，或对质量维度冲突的模型做结构可视化。这是合理的成本控制假设，但本文没有测试并证明两阶段筛选保持同等准确率。

17.3 复现时应记录什么？

18. 可用于组会讨论的六个问题

1. 为什么不只使用 RMSD？ 因为坐标偏差不能单独解释碱基配对、堆叠和扭转角质量；不同误差模式可以得到类似 RMSD。

2. MCQ 的互补性是常数吗？ 不是。它与 RMSD 的 PCC 从 Test Set I 的 0.80 到 Test Set III 的 0.35，表明互补性受模型分布影响。

3. 为什么 εSCORE 天然识别满分，却选出高 RMSD 候选？ 天然与非天然的区分、非天然候选之间的排序是不同任务；此外还需核对表4候选范围与分数处理，不能把原因完全归结于一个机制。

4. rsRNASP 是否应该无条件作为首选？ 不应无条件。它对 Test Set II、III 的天然识别优势明显，但 Test Set I 不是最好；Test Set III 的选中候选平均 RMSD 也略高于 DFIRE-RNA；长 RNA 耗时高。

5. RNAdvisor 的最重要创新在哪里？ 在把分散工具转为可批量使用的接口，并用多来源数据系统展示质量定义、排序性能与成本之间的关系。

6. 后续工作怎样比本文更强？ 在独立、分层、按时间或家族划分的真实预测集上，纳入能可靠运行的现代方法，公开逐目标数据和失败记录，同时测试互补指标组合与两阶段筛选的实际收益。

19. 最终理解：什么值得相信，什么应保留条件？

本文给出了很有用的研究工具与评测思路：RNA 结构评价需要覆盖互补维度，打分函数应该在接近实际使用的候选分布上验证，并将计算成本纳入方法选择。 这三点在数据和实验设计中都有明确支撑。

具体方法排名则应带上条件：rsRNASP 的优势主要体现在四种成功纳入函数的综合天然结构识别与较真实测试集表现；RASP 在人工近天然集有明显优势；DFIRE-RNA 的速度及部分候选筛选结果具有价值；εSCORE 的天然识别能力不能直接视为候选 RMSD 排序能力。

对这篇论文最准确的定位是：一篇围绕 RNA 三维结构质量评价的整合工具与基准研究，为怎样设计和解释评测提供了基础，而不是给出了一个可替代所有指标与所有打分函数的万能标准。

20. 原文与补充材料

• 论文 DOI
• 正文与 Supplementary Materials 均可从论文出版页面获取。
• 论文所列 EvryRNA 平台（这里只记录论文提供的地址，未核验当前服务状态）

相关原始方法可按正文参考文献编号继续阅读：

以上条目来自本文参考文献，仅作为后续阅读索引；本次没有独立检索这些原始论文或验证其最新实现。