长尾关键词挖掘爱站工具,淄博网赢网站建设,烟台网站建设 58,建设银行网站注册企业1. 极大似然估计与EM算法 极大似然估计是一种常用的参数估计方法#xff0c;它是以观测值出现的概率最大作为准则。关于极
大似然估计#xff0c;假设现在已经取到样本值了#xff0c;这表明取到这一样本的概率L(θ) 比较
大。我们自然不会考虑那些不能使样本出现的θ作为…1. 极大似然估计与EM算法 极大似然估计是一种常用的参数估计方法它是以观测值出现的概率最大作为准则。关于极
大似然估计假设现在已经取到样本值了这表明取到这一样本的概率L(θ) 比较
大。我们自然不会考虑那些不能使样本出现的θ作为估计值再者如果已知当
θθ(0)是使L(θ)取很大值而θ中的其他θ的值使 L(θ)取值很小自然认为取θ(0)作为未知参数
θ 的估计值较为合理。 在极大似然估计中独立同分布(IID)的数据 其概率密度函数为
似然函数定义为对数似然函数定义为θ的
极大似然估计为。 极大似然估计存在着问题是①对于许多具体问题不能构造似然函数解析表达式 ②似然函数
的表达式过于复杂而导致求解方程组非常困难。正是在这种情况下才提出了EM算法。EM算法主
要用于非完全数据参数估计它是通过假设隐变量的存在极大化地简化了似然函数方程从而解
决了方程求解问题。 计算极大似然估计(maximum likelihood estimateMLE)需要求似然函数的极值。如求正态
分布均值和方差的MLE 观测数据观测到的随机变量Y的IID样本
缺失数据未观测到的随机变量Z的值
完整数据包含观测到的随机变量Y和未观测到的随机变量Z的数据 EM算法是一种迭代算法1977年由Dempster等人总结提出用于含有隐变量的概率模型参
数的极大似然估计或极大后验概率估计。EM算法的每次迭代由两步组成E步求期望
ExpectationM步求极大Maximization。所以这一算法称为期望极大算法。
2. 3硬币模型 假设有3枚硬币分别记作A、B、C。这些硬币正面出现的概率概率分别是a、b、c。进行如
下掷硬币试验先掷A根据其结果选出硬币B或C正面选择硬币B反面选硬币C然后掷选出
的硬币掷硬币的结果出现正面记作1出现反面记作0独立地重复n次试验(这里n10),观测结
果如下1、1、0、1、0、0、1、0、1、1
假设只能观测到掷硬币的结果不能观测到掷硬币的过程。问如何估计三硬币正面出现的概率即
三硬币模型的参数。三硬币模型可以写作 这里随机变量y是观测变量表示一次试验观测的结果是1或0随机变量z是隐变量表示未观测
到的掷硬币A的结果θ(a,b,c)是模型参数。注意随机变量y的数据可以观测随机变量z的数据
不可观测。
将观测数据表示为未观测数据表示
则观测数据的似然函数为
即
考虑求模型参数θ(a,b,c)的极大似然估计即
这个问题没有解析解只能通过迭代的方法求解。EM算法就是可以用于求解这个问题的一种迭代
算法下面给出针对以上问题的EM算法
EM算法首先选取参数的初值记作
然后通过下面的步骤迭代计算参数的估计值直至收敛为止。第i次迭代参数的估计值为 EM算法的第i1次迭代如下
①E步计算在模型参数下观测数据来自掷硬币B的概率 计算似然函数的期望
②M步求似然函数的极大值 计算模型参数的新估计值 进行数字计算假设模型参数的初始值取为由E步第一个公式
对y0与y1均有利用迭代公式新估计值得到
由E步第一个公式有j1,2,3...10继续迭代得。
于是参数模型的极大似然估计。
3. EM算法步骤 EM算法的实现思路首先根据已经给出的观测数据估计出模型参数的值 然后再依据上⼀
步估计出的参数值估计缺失数据的值再根据估计出的缺失数据加上之前已经观测到的数据重新再
对参数值进行估计然后反复迭代直至最后收敛迭代结束。
EM算法计算流程 EM算法步骤
选择模型参数的初值开始迭代
E步记为第i次迭代参数θ的估计值在第i1次迭代的E步定义Q函数并计算 这里Q函数定义为完全数据的对数似然函数在给定观测数据Y和当前的参
下对未观测数据Z的条件概率分布的期望通过求期望去掉了完整似然函数中的
变量Z。其实就是用这个缺失数据的期望值来代替缺失的数据而这个缺失的数据期望值和它的概
率分布有关。那么我们可以通过对似然函数关于缺失数据期望的最大化来逼近原函数的极大值。
EM算法本质就是含有隐变量的概率模型参数的极大似然估计法。即EM的E步。
M步求使极大化的θ确定第i1次迭代的参数的估计值 重复E、M两步直到收敛。每次参数更新会增加非完整似然值反复迭代后会收敛到似然的局
部最大值。
4. EM算法原理
EM算法是一种解决存在隐含变量优化问题的有效方法。它的具体思想是既然不能直接最大化参
数似然函数L我们可以不断地建立参数似然函数L的下界E步然后优化下界M步。
利用琴生不等式得到似然函数的下界 对于每一个样例i让Qi表示该样例隐含变量z的某种分布Qi满足条件
这个过程可以看作是对Lθ求了下界。对于的选择有很多种哪种更好呢假设θ已经给
定那么Lθ的值就决定于和。我们可以通过调整这两个概率使下界不断上
升以逼近Lθ的真实值那么什么时候算是调整好了呢当不等式变成等式时说明调整后的
概率能够等价Lθ。根据琴生不等式等式成立的条件是随机变量取值为常数值故可得到
c为常数不依赖于。
由于那么就有多个等式分子分母相加不变这个认为每
个样例的两个概率比值都是c那么有 将带入前面得到的似然函数下界可以发现Lθ的下界函数就是前面定义的
函数。 这一步是E步建立了Lθ的下界。
接下来是M步就是在给定后调整θ去极大化Lθ的下界那么怎么确保EM收敛
呢又如何确保每次迭代都能使极大似然估计单调增加呢下述两个定理表明了利用EM算法所得
到的估计序列具有良好的收敛性且其收敛到p(θ丨Y)的最大值。
定理1设PY丨θ为观测数据的似然函数i1,2...为EM算法得到的参数估计序列
i1,2...为对应的似然函数序列则是单调递增的即
。保证了EM算法的每次迭代都使似然函数增大或达到局部极值。
定理2设为观测数据的对数似然函数i1,2...为EM算法得到的参数估计序列i1,2...为对应的对数似然序列。
1如果PY丨θ有上界则收敛到某一值
2在函数与满足一定条件下由EM算法得到的参数估计序列的收
敛值是的稳定点。
保证了EM算法所得到的估计序列具有良好的收敛性且其收敛到p(θ丨Y)的最大值。
5. EM算法补充
EM算法的另一种理解坐标上升法
下图的直线式迭代优化的路径可以看到每一步都会向最优值前进一步而且前进路线是平行于坐
标轴的因为每一步只优化一个变量。就像在x-y坐标系中找一个曲线的极值然而曲线函数不能
直接求导因此什么梯度下降方法就不适用了。但固定一个变量后另外一个可以通过求导得到
因此可以使用坐标上升法一次固定一个变量对另外的求极值最后逐步逼近极值。对应到EM
上E步固定θ优化QM步固定Q优化θ交替将极值推向最大。 EM算法的几点说明
①参数的初值可以任意选择但需要注意EM算法对初值是敏感的。
②E步求Q函数。Q函数式中Z是未观测数据Y是观测数据。注意的第一个变元表
示要极大化的参数第二个变元表示参数的当前估计值。每次迭代实际在求Q函数及其极大。
③M步求的极大化得到完成一次迭代。每次迭代都使似
然函数增大或达到局部极值。
④给出停止迭代的条件一般是对较小的正数若满足以下条件则停止迭代。
