泉州网站设计制作,vps网站目录显示灰色的,做外贸网站公司,热点网站建设1. 前言
主要参考书籍《深度学习导论及案例分析》、维基百科“贝叶斯网络”、老笨妞的博客、PRML中文翻译#xff0c;重点还是概念的掌握和几个小理论的推导#xff0c;比较枯燥。加入了自己的一些简单理解。
个人感觉概率有向图模型最大的意义在于#xff1a;一个特定的有…1. 前言
主要参考书籍《深度学习导论及案例分析》、维基百科“贝叶斯网络”、老笨妞的博客、PRML中文翻译重点还是概念的掌握和几个小理论的推导比较枯燥。加入了自己的一些简单理解。
个人感觉概率有向图模型最大的意义在于一个特定的有向图表示将联合概率分布分解为条件概率分布乘积的形式。
2. 概念
2.1 等价概念
概率有向图模型、贝叶斯网络Bayesian network、信念网络belief network、有向无环图模型directed acyclic graphical model
2.2 一般结构
图由节点和边构成。节点一般是指随机变量可以是观察到的也可以是因变量或者未知参数等边就标明了节点之间的条件概率关系比如常说的P(X|Y)就说明在节点X出发有一条有向边连接到节点Y。
【更新日志2018-11-14】上述加横线的描述感觉有点反人类正常是因连到果即Y连到X不过我记得是哪本书说是X连到Y所以可以暂时把上面那句话当做“常说的P(X|Y)就说明在节点Y出发有一条有向边连接到节点X”以后如果再找到这句话的引用之处会贴出来咳咳。
“因”与“果”箭头出发的节点为“因”被箭头指向的节点为“果”
所有节点的联合概率分布可以表示为 这里面条件概率中的条件指的是xi节点的因也就是直接相邻的出发节点。注意中间跨度一个节点再连接到xi的不算。
拿书中的例子来说 图好大啊就这样吧懒。如上图所示的这个贝叶斯网络所有节点的联合概率分布就是 其实写下来简单①对于节点X1没有节点连接到它就单独放②对于节点X2只有X1连接到它那就是第二项③对于X3只有X2连到它那就是第三项.......⑥对于X6有两个直接连接到它的“因”节点表达出来就是第六项⑦对于X7,只有X6连到它那就是最后一项。最后都乘起来就是联合概率了
【注意】这里的“因果”是一个单箭头连接起来的两个节点对于经过多个节点的多个箭头连接起来的两个节点不是“因果”节点。
2.3 条件局部独立性
概念任意节点与其非后代节点都条件独立于其父节点。
从三中拓扑结构来证明
(1)串行连接或链 其联合分布为 根据“条件局部独立性”可以得出这样一个结论给定节点k时节点 j 和其非后代节点 i 关于节点 j 的父节点 k 条件独立。
证明如下 (2)发散连接 其联合分布为 根据“条件局部独立性”可以得出这样一个结论给定节点k时节点 j 和其非后代节点 i 关于节点 j 的父节点 k 条件独立。 (3)收敛连接书中图可能错了 其联合分布为 根据“条件局部独立性”可以得出这样一个结论节点 i 和节点 j 是先验独立的
主要是因为 带入联合分布中就得到了 【结论】通过上面三个结构和证明可以得到这样一个结论个人总结对错可在评论区指出
①对于串行连接和发散连接在观察到中心变量k 时节点 i 和节点 j 条件独立
②对于收敛连接在没有观察到中心变量k时节点 i 和节点 j 先验独立但是条件独立不确定。
2.4 d-划分
假设A、B、C是任意无交集的结点的集合考虑从A中任意结点到B中任意结点所有可能的路径此路径忽视箭头方向如果满足下列任何一种条件
①路径上的箭头从头到尾串行连接或者尾到尾发散连接的方式交汇于一个结点且此结点在集合C中
②箭头从头到头收敛连接的方式交汇于一点且这个结点和它所有的后继都不在集合C中
就说所有的路径被“阻隔”即C把A从B中d-划分。 左图交汇节点是e和f对于aec和bfec串行连接中间节点e没有被观察到说明不独立。而aef虽然属于收敛连接且独立但是e的后继c被观察到了。对于f节点发散连接f 没被观察到不独立。所以从a到b的路径并未被节点f阻隔。
右图f节点是发散连接且被观察到了条件独立因而从a到b的路径被节点f阻隔。对于e节点收敛连接未被观察到独立且其后继节点c不被观察的变量内所以路径也被e节点阻隔。
2.5 朴素贝叶斯图结构
朴素贝叶斯(naive Bayes)模型是一种分类方法可以用图结构表示使用条件独立性假设来简化模型结构。
假设观测变量是D维的即 目标将x的观测值分配到K个类别中的一个。
生成模型定义引入类别标签上的多项式先验概率分布P(z|μ)其中μ的第k个元素表示类别Ck的先验概率再引入观测向量x的条件概率分布P(x|z)。举个例子给你一堆不同颜色的带有编号的球每种编号的数目不同而且在同一种颜色中可能某个编号占据多数先验分布P(z|μ)意思就是随便拿一个球不观察颜色的时候瞎猜猜对的概率是多少其实也就是(某个编号的球的个数/球总数)而观测向量x就是颜色条件概率分布P(x|z)意思就看了颜色以后你心里有个谱知道这个颜色的那个编号多然后猜对的概率。
关键朴素贝叶斯的关键假设就是以类别z为条件输入变量x的分布是独立的原因看图。 发散连接观测到z的时候每个变量条件独立。但是无法对z求和或积分意思就是z不是可观测变量了那么z就不在阻隔x之间了它们就不条件独立了。这就告诉我们通常边缘概率密度P(x)是不可以关于x的元素进行分解。意思应该是只能计算联合概率密度即P(x1,x2,...,xD)但是无法拆开计算P(x1)、Px2....
再举一例
假设每个类别的概率密度分布为高斯分布根据朴素贝叶斯的假设表明每个高斯分布的协方差为对角矩阵(因为各个观测变量独立了)且每个类别中常数密度的轮廓线是与坐标轴对其的椭球。边缘概率密度由对角高斯叠加组成权系数由类别先验给出因此不能对各个分量再进行分解。
2.6 全局马尔科夫独立性
几个概念
① 在贝叶斯网络中如果两个节点能够通过一条路径产生有效的相互影响也就是说两个节点不独立那么这条路径就称为有效路径有效迹
② 如果给定观察变量Z的时候两个节点相互独立通过2.3中的三种拓扑结构判断独立与否就称为这就是所谓的全局独立性
判断有效路径小技巧
对于串行连接和发散连接只要两个节点之间可通过观测变量连接起来那么这条路径就不是有效路径。
对于收敛连接如果中间节点属于观测变量而且路径上的其他节点都不属于观测变量那么它就是有效路径。
例如在第一幅图的网络中如果令这里书上可能错了因为书中的X和Z都包含第二个节点了而Z是可观测变量它的节点不可能出现在有效路径中 显然在给定Z的时候X和Y是相互独立的节点1和3给定2独立节点5和7给定节点6独立。好像都是串行连接下的独立。PS个人认为书中有问题如有疑问请评论区标注
2.7马尔科夫随机毯(Markov blanket)
考虑联合概率分布考虑第i个结点以其它所有节点为条件的条件概率分布 式子的分子分母中所有与xi无关的因子都能提出来消去唯一剩余的因子是第i个结点自身的条件概率以及以xi为父节点的节点xk即第k个结点有两个父节点其中一个父节点就是i而此节点的条件概率分布的条件就是两个父节点。这样的由父节点、子节点、同父节点构成的节点集合称为马尔科夫毯。如下图所示 此图就是节点xi的马尔科夫毯由父节点、子节点、同父节点的集合构成。特点是以图中所有剩余节点为条件xi的条件概率分布值依赖于马尔科夫毯中的变量。
马尔科夫毯是节点xi与图中剩余部分隔开的最小节点的集合需要注意的是只有子节点和父节点是不够的因为子节点的观测不会阻隔某个节点到同父节点的路径因而也需要观测同父节点按照上面的三个拓扑结构分析此图就能清晰。 3. 解释消除(explaining away)
概念原本相互独立的多个原因在给定观察结果时可能不再相互独立而是变得相互依赖、相互影响。
书中的例子非常好这里直接拿过来作为实例了我又感觉书画错了书中箭头是反的 B代表电池(battery)节点1代表电池有电0代表电池没电
F代表燃料(fuel)节点1代表油箱还有有0代表油箱没油了
G代表油表指针(ggauge)节点1代表指针说油箱还有油0代表指针说油箱没油了
这个有向图这样画的原因是根据常识油表指针是由电量和实际燃料量决定的。也就是说电量和燃料的变动情况是油表指针变动情况的“因”指针是“果”
这里要分析的是①直接猜测F0没油的概率② 观察油表猜测油箱没油的概率③ 电池没电时候观察油表猜测油箱没油的概率
形象点用条件概率表达依次为 先说一下已知条件 根据贝叶斯网络结构得到联合概率分布 然后就能计算得到知道油表指针空(G0)的时候油箱真的空(F0)的概率为 对于分子 对于分母 注意求分母的这个式子中第二个等号变换到第二个等号说明B和F是独立的而独立原因在于我们并不知道收敛连接中心节点G的状态参考拓扑结构3.
带入原式就能得到 这比不观察任何东西瞎猜油箱满不满的概率P(F0)0.1高是必然的
再来计算一下观察到油表和电池都为0的时候没油的概率 对比着三个计算油箱状态的方法①瞎猜②看油表③看油表和电池。发现看油表猜油箱的油比较靠谱但是当我们发现油表的电池快没电了那么油表的可靠度就在下降。
这个例子就是所谓的解释消除explaining away本来相互独立的多个原因在给定观察结果时可能不再独立而是相互依赖相互影响。根据收敛连接没给定油表观察结果的时候电池和燃料是相互独立(先验独立)的但是给定油表的观察结果时它俩又不独立了。
