解释ROC曲线下面积

xujunzju • 2022年12月2日 11:35 • 专家述评 • 阅读 1270

临床医生经常要求生物统计学家对预测模型的质量进行判断。预测质量可以用不同的性能标准进行评估，判别能力是一个主要问题：如何区分高风险和低风险患者？当考虑预测二元事件时，判别能力通常由受试者工作特征曲线（AUC）下的面积来量化。

可以参考AUC的基本属性。AUC 的范围介于 0.5 和 1 之间，值越高表示对高风险和低风险患者的区分效果越好。一些研究论文将特定的AUC值标记为差，中等，良好或优秀。AUC标签系统的多样性很大（图;附录第1页）。大多数研究人员认为低于 0.6 的 AUC 值很差，但高于 0.7 的 AUC 值存在很大差异。介于 0.7 和 0.8 之间的 AUC 值被标记为差、中等、一般或良好。在大多数论文中，无法确定对这些价值判断的合理推理;直觉和经验似乎在最初的文本中占主导地位。

过去 5 年的文献提出了从对特定 AUC 值进行标注。这些标注将 AUC 值与部署预测模型后发生的操作相关联。这通常包括告知患者他们的个人风险并支持决策。为了可靠地告知患者和医生，注意到至关重要的不是区分度，而是风险预测的校准。因此，如果预测未得到很好的校准，AUC 大于 0.8 的有用模型可能会产生误导。对于做出更好决策的主张，需要在AUC之外采取专门措施。其中一项衡量标准是净收益。净收益的计算公式为：

实证研究表明，AUC值较高的模型在临床上更有用。将模型从一个设置传输到另一个设置时，通常会观察到一些校准错误，这会降低净收益。AUC越低，这种错误校准就越容易使模型有害，这取决于校准错误的类型和程度，决策阈值和事件发生率（附录第2-4页）。AUC值的高辨别能力不足以声称在临床实践中部署预测模型具有积极的潜在效果。