建立网站大概需要多少钱,网站建设结构安排论文,wordpress 好用的插件,青岛代理记账公司有哪些提示#xff1a;文章写完后#xff0c;目录可以自动生成#xff0c;如何生成可参考右边的帮助文档 使用SPSS的McNemar检验两种深度学习模型的差异性 前言简述#xff1a;一、McNemar检验1.1来源1.2 两配对样本的McNemar(麦克尼马尔)变化显著性检验1.3 适用范围#xff1a;… 提示文章写完后目录可以自动生成如何生成可参考右边的帮助文档 使用SPSS的McNemar检验两种深度学习模型的差异性 前言简述一、McNemar检验1.1来源1.2 两配对样本的McNemar(麦克尼马尔)变化显著性检验1.3 适用范围1.4 基于对深度学习模型检测下的检测数据要求 二、使用SPSS的McNemar检验2.1 前置2.2 问题定义2.3 使用SPSS2.3.1 非参数检验-相关样本2.3.2 选择要比较的模型2.3.3 看结果 参考文章如有不足还请各位大佬指正 前言
前排提示 我看到好多McNemar检验的文章没有说如何用到深度学习模型检测的所以自己给自己做个笔记.本身不难但是很多文章都写的好乱例如没有解释为什么深度学习模型中留一法或者单独留出测试集的k折模型只能用McNemar 测试检验模型差异性。以及零假设是什么为什么要拒绝。 1.不使用python构建McNemar检验代码 2.使用spss的McNemar检验 方便快捷适合即时使用
简述
深度学习模型McNemar检验 对于只能执行一次的算法McNemar 的测试是唯一具有可接受的 I 类错误的测试。 **数据**两个对比模型的检测结果与样本对比后的结果(0,1)0,1表征 T or F I 型错误是错误地拒绝实际为真的零假设。 零假设 A和B模型在性能上的差异不具有统计学意义即差异不显著
一、McNemar检验
1.1来源
McNemar 检验是用于配对 名义数据的统计检验。它应用于具有二分特征的2 × 2列联表具有匹配的主题对以确定行和列的边际频率是否相等即是否存在“边际同质性”。它以Quinn McNemar 的名字命名他于 1947 年引入了它。该测试在遗传学中的一个应用是用于检测连锁不平衡的传输不平衡测试。
1.2 两配对样本的McNemar(麦克尼马尔)变化显著性检验
McNemar 检验 是 2 * 2 表的配对检验。 McNemar变化显著性检验以研究对象自身为对照检验其两组样本变化是否显著。 **原假设 样本来自的两配对总体分布无显著差异。**即我们后面定义的零假设 要求: McNemar变化显著性检验要求待检验的两组样本的观察值是二分类数据在实际分析中有一定的局限性。
1.3 适用范围
具体而言建议在那些被比较的算法只能评估一次的情况下进行测试例如在一个测试集上而不是通过重采样技术重复评估例如 k 折交叉验证。
对于只能执行一次的算法McNemar 的测试是唯一具有可接受的 I 类错误的测试。 对于k折交叉验证有两种纷争一种是全部数据进行k折一种是训练集K折留出单独一份测试集。不能说哪方对哪方错。选择适合数据的就是对。 所以针对单独留出一份测试集的做法可以按照定义使用McNemar检验
1.4 基于对深度学习模型检测下的检测数据要求
数据两个对比模型的检测结果与样本对比后的结果(0,1)0,1表征 T or F
要求两数据配对数据完整不可改变数据顺序
二、使用SPSS的McNemar检验
我们需要对问题进行定义然后再进行检验。
2.1 前置
在统计假设检验中I 型错误是错误地拒绝实际为真的零假设。 对于只能执行一次的算法McNemar 的测试是唯一具有可接受的 I 类错误的测试。
2.2 问题定义
问题两个深度学习模型在同一测试集下的性能是否有差异性 白话A比B模型优秀但是我想知道A比B的优秀是具有统计学意义的。 此时的零假设 A和B模型在性能上的差异不具有统计学意义即差异不显著
要拒绝零假设那么我们最后的检验p值要小于0.05
2.3 使用SPSS
2.3.1 非参数检验-相关样本 2.3.2 选择要比较的模型 然后运行
2.3.3 看结果 拒绝原假设模型有差异性
参考文章
ml-mastery-zh/docs/stat/mcnemars-test-for-machine-learning.md at master · apachecn/ml-mastery-zh · GitHub
McNemar’s检验配对卡方检验多种操作教程总有一个适合你 - 知乎 (zhihu.com) https://zhuanlan.zhihu.com/p/89205077
泛化性能的比较检验-4-McNemar检验周志华西瓜书解析 - 知乎 (zhihu.com) https://blog.csdn.net/orDream/article/details/122540099
SPSS详细操作配对卡方检验McNemar’s test (qq.com) https://mp.weixin.qq.com/s?__bizMzI2OTQyMzc5MAmid2247490227idx1sn16788997b4de52293942da8f40feb76cchksmeae1df72dd96566418535e93c537f5df90b2fbc2fa6e4702d4a8c0ce502cddec7f9b3d30b6e1scene21#wechat_redirect
麦克尼马尔检验(McNemar test)-CSDN博客 https://blog.csdn.net/orDream/article/details/122540099
如有不足还请各位大佬指正
