单位网站备案要等多久,企业网站建设公司名称,南昌网站开发技术,沈阳网站开发保序回归#xff1a;拯救你的校准曲线#xff08;APP#xff09; 校准曲线之所以是评价模型效能的重要指标是因为#xff0c;校准曲线衡量模型预测概率与实际发生概率之间的一致性#xff0c;它可以帮助我们了解模型的预测结果是否可信。一个理想的模型应该能够准确地预测…保序回归拯救你的校准曲线APP 校准曲线之所以是评价模型效能的重要指标是因为校准曲线衡量模型预测概率与实际发生概率之间的一致性它可以帮助我们了解模型的预测结果是否可信。一个理想的模型应该能够准确地预测实际发生概率。在这种情况下校准曲线将是一条直线其斜率为 1。但是在现实世界中模型的预测往往会存在偏差。当模型的预测概率高于实际发生概率时我们称之为过度校准当模型的预测概率低于实际发生概率时我们称之为欠校准。
线性的逻辑回归模型往往具有较好的校准曲线但是模型区分能力ROC曲线下面积较弱多数情况下我们为了获得更好的模型区分能力而舍弃线性的逻辑回归模型而采用随机森林等树形模型但是这时候会发现校准曲线变得不佳。是不是好的模型区分能力和校准度不能同时兼得呢采用概率校准技术可以弥补这一点。
这里说的概率校准是在模型得出预测概率之后对概率进行修正的方法属于后处理技术保序回归isotonic regression是其中常用的一种。当使用预测模型获得预测概率之后可以使用保序回归对预测概率进行校正得到的预测概率作为最终的预测概率然后进行DCA分析或者预测概率相关的分析包括校准曲线的绘制很大程度导上会改善模型的校准度。保序回归适用于二分类、多分类和有序多分类的任务。机器学习和深度学习的概率校正都可以使用。
因为许多人对保序回归等后处理技术不熟悉所以设计了这个APP让大家能够直观感受保序回归的作用。在APP内输入真是的label和预测的概率值并勾选isotonic regression 即可对比概率校正前后的校准曲线。
APP地址https://liuyp2080.shinyapps.io/save_your_probability/
