EM算法

一、引子

一种迭代算法，1977年由Dempster等人提出，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。每次迭代由两部分构成，E步求期望，M步求极大，称为期望极大算法。

概率模型有时既含有观测变量，又含有隐变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数，但当模型含有隐变量时，不能简单使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法。

二、算法

问题：输入观测变量数据Y，隐变量数据Z，联合分布P(Y,Z|θ)，条件分布P(Z|Y,θ)，输出参数模型θ。

求解：

=

 　　推导：EM算法实际上是通过迭代逐步近似极大化L(θ)=logP(Y|θ)，经过推导可以得到

上式相当于EM算法的一次迭代，求Q函数及其最大化。EM算法通过不断求解下界的最大化逼近求解对数似然函数的最大化。但实际上EM算法是使B和Q函数极大化，从而使L(θ)增加，但不能保证找到全局最优值。