青岛做视频的网站,照片视频制作,株洲微豆网络科技有限公司网页设计,wordpress主题官方网站机器学习简介
由来
阿瑟.萨缪尔Arthur Samuel,1952年研制了一个具有自学习能力的西洋跳棋程序#xff0c;1956年应约翰.麦卡锡John McCarthy#xff08;人工智能之父#xff09;之邀#xff0c;在标志着人工智能学科诞生的达特茅斯会议上介绍这项工作。他发明了“机器学习…机器学习简介
由来
阿瑟.萨缪尔Arthur Samuel,1952年研制了一个具有自学习能力的西洋跳棋程序1956年应约翰.麦卡锡John McCarthy人工智能之父之邀在标志着人工智能学科诞生的达特茅斯会议上介绍这项工作。他发明了“机器学习”这个词将其定义为“不显示编程地赋予计算机能力的研究领域”。
假设空间hypothesis space 版本空间version space 归纳偏好inductive bias
机器学习算法在学习过程中对某种类型假设的偏好。如果没有偏好产生的模型每次在进行预测时随机抽选训练集上的等效假设那么对这个新输入学得模型时而告诉我们它是好的、时而告诉我们它是不好的这样的学习结果显然没有意义。
归纳偏好对应了学习算法本身所做出的关于什么样的模型更好的假设。在具体的现实问题中这个假设是否成立即算法的归纳偏好是否与问题本身匹配大多数时候直接决定了算法能否取得好的性能。
“奥卡姆剃刀”Occam’s razor
常用的、自然科学研究中最基本的原则即“若有多个假设与观察一致则选最简单的那个”在回归学习中一般认为更平滑意味着更简单
“没有免费的午餐”定理No Free Lunch TheormNFL
无论学习算法1多聪明、学习算法2多笨拙他们的总误差与学习算法无关期望性能相同。
→ 若考虑所有潜在问题则所有学习算法都一样好要谈论算法的相对优劣必须针对具体的学习问题学习算法自身的归纳偏好与问题是否相配往往会起到决定性作用。
机器学习5种学习方法
1、监督学习supervised learning是利用已知类别的样本即有标记的样本 labeled sample已知其相应的类别调整分类器的参数训练得到一个最优模型使其达到所要求性能再利用这个训练后的模型将所有的输入映射为相应的输出对输出进行简单的判断从而实现分类的目的这样即可以对未知数据进行分类。 2、无监督学习unsupervised learning把相似度高的东西放在一起对于新来的样本计算相似度后按照相似程度进行归类就好。 3、半监督学习semi-supervised learning处在监督学习和无监督学习之间的是半监督学习。Semi-Supervised Learning中使用的数据有一部分是标记过的而大部分是没有标记的。因此和监督学习相比半监督学习的成本较低但是又能达到较高的准确度。 4、强化学习reinforcement learning所谓强化学习就是智能系统从环境到行为映射的学习以使奖励信号(强化信号)函数值最大强化学习不同于连接主义学习中的监督学习主要表现在教师信号上强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)而不是告诉强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。相当于先无监督后有监督 5、迁移学习transfer learning考虑到大部分数据或任务是存在相关性的所以通过迁移学习我们可以将已经学到的参数parameter分享给新模型从而加快并优化模型的学习不用像之前那样从零开始把已训练好的模型参数迁移到新的模型来帮助新模型训练数据集。
模型评估与选择
错误率error rate精度accuracy误差error训练误差training error/经验误差empirical error在训练集上的误差泛化误差generalization error在新样本上的误差
过拟合overfitting当学习器把训练样本学的太好了的时候可能已经把训练样本本身的一些特点当做了所有潜在样本都会具有的一般性质导致泛化性能下降→无法彻底避免只能减小其风险 欠拟合underfitting对训练样本的一般性质尚未学好→容易克服
模型选择问题model selection选用哪个学习算法、使用哪种参数配置 →无法直接获得泛化误差而训练误差又由于过拟合现象的存在而不适合作为标准那么在现实中如何进行模型评估与选择呢?
2.1评估
分“测试集验证集”和“训练集”以测试集上的“测试误差testing error”作为泛化误差的近似
留出法直接将数据集D划分为两个互斥的集合一个作为训练集S另一个作为测试集T划分尽可能保持数据分布的一致性并且常见做法将大约2/3~4/5的样本用于训练剩余样本用于测试 交叉验证法将数据集D划分为k个大小相似的互斥子集每次用k-1个子集作为训练集余下的一个作为测试集这样获得的k个测试结果取均值k常取10 自助法以自助采样法bootstrap sampling为基础给定包含m个样本的数据集D我们对它进行采样产生数据集D’每次随机从D中挑选一个样本将其拷贝放入D’然后再将该样本放回初始数据集中使得该样本在下次采样时仍有可能被采到这个过程重复执行m次后我们就得到了包含m个样本的数据集 D’通过自助采样初始数据集D中约有36.8%的样本未出现在D’中于是可用D’做训练集D\D’做测试集
调参parameter tuning与最终模型
在模型选择完成后学习算法和参数配置已选定此时应用数据集D重新训练模型这个模型在训练过程中使用了所有m个样本才是最终提交给用户的模型。另外通常把学得模型在实际使用中遇到的数据称为测试数据为了加以区分模型评估与选择中用于评估测试的数据集通常称为“验证集validation set”
性能度量performance measure
衡量模型泛化能力的评价标准
回归任务常用“均方误差mean squared error” 分类任务常用错误率、精度、查准率precision:、查全率recall:、平衡点Break-Event Point(BEP查准率查全率时的取值例如图中A优于B、F1基于查准率与查全率的调和平均、FβF1度量的一般形式加权调和平均其中β0度量了查全率对查准率的相对重要性β1时退化为标准的F1β1时查全率有更大影响β1时查准率有更大影响、受试者工作特征曲线ROCReceiver Operating Characteristic纵轴为真正例率横轴为假正例率 混淆矩阵confusion matrix 非均等代价unequal cost为权衡不同类型错误所造成的不同损失可为错误赋予“非均等代价”、代价矩阵cost matrix 损失程度相差越大cost01与cost10值的差别越大。一般情况下重要的是代价比值而非绝对值例如cost01:cost105:1与50:10所起效果相当。 →希望最小化总体代价total cost
代价敏感cost-sensitive错误率以表2.2中第0类作为正类、第1类作为反类D与D-分别代表样例集D的正例子集和反例子集 代价曲线cost curve
比较检验
比较泛化性能而通过试验评估方法获得的是测试性能两者的对比结果可能未必相同以错误率为性能度量为例
→ 统计假设检验hypothesis test → 交叉验证t检验成对t检验paired t-tests基本思想是若两个学习器的性能相同则它们使用相同的训练/测试集得到的测试错误率应相同即
为缓解“由于样本有限在使用交叉验证等实验估计方法时不同轮次的训练集会有一定程度的重叠使得测试错误率实际上并不独立会导致过高估计假设成立的概率”的问题采用5×2交叉验证法
→ McNemar检验 → Friedma检验与Nemenyi后续检验 在一组数据集上对多个算法进行比较 偏差-方差分解bias-variance decomposition解释学习算法泛化性能的一种重要工具
泛化误差可分解为偏差期望预测与真实结果的偏离程度刻画学习算法本身的拟合能力、方差同样大小的训练集的变动导致的学习性能的变化刻画数据扰动所造成的影响与噪声当前任务上任何学习算法所能达到的期望泛化误差的下界刻画学习问题本身的难度之和 偏差-方差窘境bias-variance dilemma一般偏差和方差是有冲突的
