运动网站设计,商城网站可以不备案吗,网站流量的主要来源有,seo诊断书案例转载请注明出处#xff1a;http://www.cnblogs.com/ymingjingr/p/4271742.html 目录 机器学习基石笔记1——在何时可以使用机器学习(1) 机器学习基石笔记2——在何时可以使用机器学习(2) 机器学习基石笔记3——在何时可以使用机器学习(3)(修改版) 机器学习基石笔记4——在何时…转载请注明出处http://www.cnblogs.com/ymingjingr/p/4271742.html 目录 机器学习基石笔记1——在何时可以使用机器学习(1) 机器学习基石笔记2——在何时可以使用机器学习(2) 机器学习基石笔记3——在何时可以使用机器学习(3)(修改版) 机器学习基石笔记4——在何时可以使用机器学习4 机器学习基石笔记5——为什么机器可以学习1 机器学习基石笔记6——为什么机器可以学习2 机器学习基石笔记7——为什么机器可以学习3 机器学习基石笔记8——为什么机器可以学习4 机器学习基石笔记9——机器可以怎样学习1 机器学习基石笔记10——机器可以怎样学习2 机器学习基石笔记11——机器可以怎样学习3 机器学习基石笔记12——机器可以怎样学习4 机器学习基石笔记13——机器可以怎样学得更好1 机器学习基石笔记14——机器可以怎样学得更好2 机器学习基石笔记15——机器可以怎样学得更好3 机器学习基石笔记16——机器可以怎样学得更好4 五、Training versus Testing 训练与测试。 5.1 Recap and Preview 回顾以及预览。 首先回顾一下上一章学过的内容学习在何种情况下是可行的。 在可学习的数据来自于一个统一的分布distribution且假设空间中的假设函数为有限个的情况下其学习流程图如图5-1所示。 图5-1 一种可行的学习流程图 此图和前几章中的流程图最大的不同是加入了一个模块准确的说是一种假设情况假设训练数据样本和未知的测试样本来自同一的分布这点尤为重要现有的大部分机器学习算法都从这点出发好像迁移学习不是并且假设空间的假设是有限的情况下即|H| MM是有限的值在训练样本N足够大假设空间中的所有的假设都会遵循PAC准则确保每一个假设函数都可以满足近似相等的性质因此可以通过算法在这些假设空间中找一个的假设同样PAC也保证了。因此可以说机器学习在这种情况下是可行的。训练样本和测试样本满足同分布假设空间有限并且训练数据足够大 接着回顾一下之前四章的内容 第一章介绍了存在一个未知的目标函数f机器学习的任务是找出一个假设函数g使得假设g和目标函数f很接近即 用第四章的概念可以解释为在测试时的错误率接近零即。 第二章介绍了在训练时使假设函数g和目标函数f很接近就可以了用第四章的概念可以解释为训练时的错误率接近零即 。 第三章介绍了一种机器学习最基础、最核心的方法使用批量的数据和监督式的学习来做二元分类。 第四章介绍了在假设空间不是太多即假设函数有限的情况下训练时的错误率和测试时的错误率很接近即 。 从以上各章节中可以看出将机器学习分为了两个主要问题来解决 是否能确保是足够接近的这是连接第一章和第二章的桥梁。 如何使得足够小这是第二章的内容当然后面的章节还会继续介绍其他的技巧。 在第四章中介绍的假设空间的大小M与上述两个问题存在何种关系通过一个表格进行分析如表5-1所示。 表5-1 M的大小与两个条件的关系 M很小的时候 M很大的时候 第一个问题 满足 M小的时候两者不相等的几率变小了 不满足 M大的时候两者不相等的几率变大了 第二个问题 不满足在M变小时假设的数量变小算法的选择变小可能无法找到 接近0的假设。 满足在M变大时假设的数量变大算法的选择变大找到 接近0的假设的几率变大。 显然M趋于无穷大时表现非常不好如何解决这个问题呢 需要寻找一个小于无限大M的替代值并且这个值还和假设空间有关系用 表示。以后的几章中讨论如何在M为无限大时保证。 5.2 Effective Number of Lines 线的有效数量。 第四章的结尾求出了在有限假设空间中 的上限当时使用联合上限union bound实际不等式的上界被放大了太多。假设在假设空间中包含无限多的假设函数则此上限为无穷大而真正合理的上界是不应该大于1因为是个概率问题其最大值也不会超过1。 造成这一问题的原因是什么呢很容易想到这个联合上界是不是过于宽松了。对问题确实出在此处学过集合的同学肯定都知道两个集合的或集写成两个集合相加的形式时一定要减去它俩的交集。而我们这里的问题出在这几个集合不仅相交而且交集很大却没有被减掉因此上界过于宽松。 继续回到假设空间的问题上两个假设函数出现完全相同坏数据的可能性很大如上一章表4-3的h2和h3就出现了几个相同的坏数据。举个简单的例子在二维平面上进行二元线性分类假设两条直线h1和h2很接近那么就不难得出两种假设的坏数据也基本重叠其实这种数据的分布应为图5-2所示。 图5-2 不好数据的分布 如果可以将这无限大的假设空间分成有限的几类按照样本数据划分方式进行分类如是 和 被定义为两种不同的类别。这一思路的原因个人认为有两个一是这本身就是一个数据分类错误率的问题从数据分类方式着手也很切要害二是训练样本必然是有限的分类的方式也是有限的可以将无限的问题转换成有限的问题。 先从最简单的分一个样本点着手假设是一个二元线性分类问题一个样本的例子比较容易理解如图 5-3所示。 图5-3 单一训练样本分类问题 一个样本点分类可以有几种方式无非两种该样本为正或者为负。而假设空间中的所有假设或者称之为直线都只能分属于这两种情况。 继续观察两个样本的情况如图5-4所示。 图5-4 两个训练样本分类问题 这种情况可以分为如图所示的4种情况也就是所有的直线可以分属这4个类中。 继续观察三个样本的情况如图5-5所示。 图5-5三个训练样本分类问题 出现了8种情况但是如果样本的分布转变一下呢比如三排成一线就只有6类如图5-6所示。 图5-6三个训练样本排成一条直线的分类问题 继续观察四个样本的情况如图5-7所示。 图5-7四个训练样本分类问题 说明一下此处只画了8种情况其中一种还不可能线性可分因为直接将其颠倒就可以得到剩下的8种情况完全是对称的所示总共有14种可以划分的种类。 不再无休止的继续举例做一个总结。从上述内容可以看出将无限多的假设和有限多的训练数据建立了一种关系如图5-为是样本为二维时二元线性可分的类型与样本数量的关系图。 图5-7二元线性可分的类型与样本数量的关系图 从图中可以推到出下述公式成立如公式5-1所示。 公式5-1 其中N在大于3的情况下必然远小于2的N次方。其实即使是等于2的N次方也可以说明右边的式子在N趋于无穷大的情况下是一个趋近于零的值原因很简单e这个自然常数的值大于2.7也大于2因此右式是个递减函数此处不做过多的推导了。 5.3 Effective Number of Hypotheses 超平面的有效数量。 上一节的内容介绍了将无限多的假设转换成为有限多种类型上。 这种以训练样本的分类情况来确定一类假设的方式称之为二分类dichotomy使用符号表示为H(x1,x2,…,xN)即假设空间在特定的训练样本集合x1,x2,…,xN上被分为几类。如表5-2所示对二分类空间与假设空间做出比较。 表5-2 假设空间与二分空间的对比 假设空间H 二分H(x1,x2,…,xN) 举例 在空间中所有的线 {○○×, ○○○, ○××,..} 大小 无限大 上限为 以二元线性可分的情况举例假设空间是在二维平面上的所有直线它一定是无限的而二分空间就是能将二维平面上的样本点划分为不同情况的直线种类不同情况具体是什么意思参见上一节而它最多只是因此是有限的。 现在的思路就是使用H(x1,x2,…,xN)的大小来取代无限大的M如何取代呢 会发现H(x1,x2,…,xN)的取值取决于训练样本的分布情况因此要取消这种依赖的关系取消的方式就是寻找在样本点个数固定的情况下最大的H(x1, x2, …, xN)取值公式如5-2所示。 (公式5-2 符号表示一个比无限大的M小且与假设空间H有关的关于样本大小N的函数。这一函数叫做成长函数growth function。 如何具体化就是只使用训练样本的大小N来表达出该函数成长函数成为接下来需要解决的问题。先从简单的例子着手一步一步的推导到在感知器下该函数的具体表达。 第一个例子是举一个最简单的情况在一维实数的情况下并且限制分类的正方向指向固定的一边求解成长函数。给这一分类情况起名叫做正射线positive rays如图5-8所示。 图5-8 正射线的二元分类 用数学的方式表示如下 输入数据样本为R为实数集 其假设空间可以表示为其中a是阈值表示大于某个实数a数据被分为正类反之为负类。 本质是在一维平面上的感知器只是比一维感知器少了相反方向可以为正的情况此种分类已经规定向右的方向为正而一维感知器可以规定相反的方向也为正就比它多了一倍。 正射线分类的成长函数很容易得出如公式5-3所示。 公式5-3 求出的思路很简单 N个点两两之间的空隙个数为N-1再加上端点的个数2左端点是全正右端点是全负且可得出在N很大的情况下公式5-4成立。 公式5-4 课后题中提到了不规定正方向的情况下成长函数的计算即求在一维情况下感知器的分类情况如公式5-5所示。 公式5-5 求解的思路为在N个点上两两之间有2·(N-1)中可能因为正方向没有规定了所以此处比正射线的种类多出了一倍剩下样本点都为正类或者都为负这两种情形因此再加上一个2。 下一个例子还是在一维空间里与正射线分类不同的是这是一种中间为正两边为负的情况叫做中间为正的分类positive interval如图5-9所示。 图5-9 中间为正的分类 其成长函数不难求出如公式5-6所示。 (公式5-6 求解思路如下此为一个两端都不固定范围的分类正射线是固定一个端点直接到头都为一种类型因此在N1个空隙中选择两个作为端点样本两两之间有N-1个空隙两端还各有一个因此为一个组合问题 但是少算了一种全负情况即两个端点在同一个空隙之中是哪个空隙不重要只要落到一起即为全负所以再加1。 同样在N很大时也小于上限如公式5-7所示。 公式5-7 接着举一个二维平面上的例子以凸图形分类为例在凸区域内部为正外部为负也就是凸区域的边界作为假设函数的划分线如图5-10所示。 图5-10 a) 蓝色部分表示一种凸的图形 b蓝色部分表示非凸的图形 如何求解在这种情形下的成长函数成长函数是寻找一个最大值的情形因此要取一些极端的情况比如所有的点都落在一个圆圈上用一个凸多边形将所有正类的样本点连接起来将此图形稍微的放大一点得到的凸多边形其中间的区域为正外边的区域为负如图5-11所示。 图5-11 凸多边形分类 课程里说到此处就直接给出结果了如公式5-8所示。 公式5-8 看了很久不知道为啥想了两种可能的解释不知道是否正确 一种是将这个圆圈想象成一条直线在这条直线上每个样本点不是根据一个端点或者两个端点来确定它的正类的范围而是每个样本都可以为正类即使它们不相邻于是解释就简单了每个点都可以选择为正类或者负类就是每个点都有两种可能的情况那么N个点就可能有 种情况。 另外一种想法是直接在二维平面上画图在这里就阐述一下以五个样本作为例子如图5-12所示。 图5-12 五个样本点的凸多边形分类 将这五个样本点分成两类的方法一共有多少种和正射线分类一样正方向是有限制的即多边形内部为正从最简单两种情况出发全为正和全为负其相加为2然后是四个样本为正的情况有多少种就是图中有多少个凸四边形就是从五个样本中取4个的情况有几种答案是 然后是有多少个三角形就是图中三个样本为正的情况答案是接着是有多少个直线将样本点画成2个样本为正的情况答案是 最后是只有一个样本点为正的情况答案是 将所有的情况加起来得 推广到N中情形如公式5-9所示。 公式5-9 以上公式可以通过二项式推导出来不是凑巧左边的形式正好等于2的N次方的形式二项式的推导如公式5-10所示。 公式5-10 如果N个样本点可以写出 种类型的假设即公式5-8成立的情况下我们称N个样本点满足完全二分类情形shattered即可以分为 种二分类dichotomy。 5.4 Break Point 突破点。 将上一节中列举出来的所有成长函数列在表5-3中。 表5-3 各分类的成长函数 正射线 一维空间的感知器 间隔为正的分类 凸图形分类 二维平面的感知器 在某些情况 更希望得到一种多项式polynomial形式的成长函数而不是指数exponential形式的因为这样上界 的下降速度将会更快。能否找出一种规律将表中二维感知器的成长函数也写成多项式形式的呢于是提出了一个新的概念突破点break point。 那什么叫突破点呢对于三个样本点的感知器所有的样本还是满足完全二分类情形shattered也就是还是可以最大化分类的但是四个样本是却不能满足完全分类情形不能满足 种分类了于是我们称不能满足完全分类情形的样本数量为突破点可以想象得出当有更多的样本点时一定也不能满足完全分类情形。因此二维感知器成长函数的突破点是4。在通过一个表5-4来说明上节提到的所有分类情况。 表5-4各分类的突破点与成长函数的关系 正射线 突破点是2 一维空间的感知器 突破点是3 间隔为正的分类 突破点是3 凸图形分类 没有 二维平面的感知器 突破点是4 在某些情况 从表中可以看出可能成长函数和突破点之间有一定的关系即突破点是k的情况下成长函数 。但是这是一个过于宽松的上界从表5-4的第二行可以看出成长函数实际比这个规律要小转载于:https://www.cnblogs.com/ymingjingr/p/4285358.html
