OpenCV人脸识别Eigen算法源码分析

1 理论基础

学习Eigen人脸识别算法需要了解一下它用到的几个理论基础，现总结如下：

1.1 协方差矩阵

 首先需要了解一下公式：

共公式可以看出：均值描述的是样本集合的平均值，而标准差描述的则是样本集合的各个样本点到均值的距离之平均。以一个国家国民收入为例，均值反映了平均收入，而均方差/方差则反映了贫富差距，如果两个国家国民收入均值相等，则标准差越大说明国家的国民收入越不均衡，贫富差距较大。以上公式都是用来描述一维数据量的，把方差公式推广到二维，则可得到协方差公式：

协方差表明了两个随机变量之间的相关性，值为正说明两者是正相关的，值为负说明两者是负相关的，值为零说明两者不相关，举一个简单的小例子，假设一个人用4个维度身高、体重、距离屋顶的高度、每天画画的时间来表示：身高取样X=[1 2 3 4 5 6 7 8 9]，体重取样Y=[11 12 13 14 15 16 17 18 19]，距离屋顶的高度取样Z=[9 8 7 6 5 4 3 2 1]，每天画画时间L=[1 1 1 1 1 1 1 1 1]，则有cov(X,Y)=7.5，cov(X,Z)=-7.5，cov(X,L)=0，结果很明显X和Y协方差为正数两者正相关，X和Z协方差为负数两者负相关，X和L协方差为0，说明它们不相关。以上例子每一个随机变量都可以表示一个维度，我们计算了部分维度之间的协方差，计算所有维度之间的协方差并组织成矩阵的形式，就有了协方差矩阵的概念：C_nxn=[c_i,j]=[cov(Dim_i,Dim_j)]   i,j=1,2,…,n，Dim_i表示第i个维度向量。以Matlab协方差矩阵为例，将X，Y，Z，L分别作为1，2，3，4个维度，则有c_1,1=7.5，c_1,2=7.5，c_1,3=-7.5，c_1,4=7.5……，所以协方差矩阵为：

在Matlab中可以把矩阵的每行看做是4个随机变量的一组取样样本，每列看做是一个维度，则可以直接用con函数求得4个维度的协方差矩阵：

1.2 Jacobi迭代法求对称矩阵特征向量及特征值

 雅可比迭代法的基本思想是：通过一组平面旋转变换（相似正交变换）化对称矩阵A为对角矩阵，进而求出A的特征值与特征向量。由线性代数理论可知：若矩阵A是实对称矩阵，则一定存在正交矩阵U，使得U^T*A*U=D，其中D对角矩阵，其主对角线元素λ_i是A的特征值，正交矩阵U的第i列是A对应特征值λ_i的特征向量。于是求对称矩阵A的特征值问题转化为寻找正交矩阵U，使得U^T*A*U为对角矩阵，这个问题的困难在于如何构造U，为此我们先看一下平面上的旋转变换：

则有：

其中：

上述推导其实说明了一种构造正交矩阵P，并使得P^T*A*P为对角矩阵的方法，可以将这种方法推广到nxn对角矩阵，首先引入n阶旋转矩阵（Givens矩阵）的概念：

平面旋转矩阵有如下性质：

（1）U_pq为正交矩阵，即U_pq^T*U_pq=E

^（2）U^TAU=B仍为对称矩阵，且B与A有相同的特征值

Jacobi迭代法，在每一次迭代时都是进行一次（2）中的转换，这里p、q分别是前一次的迭代矩阵A的非主对角线上绝对值最大元素的行列号，变换后元素值可以由以下公式求出：

由公式可以看出转换后矩阵相比原矩阵只是在p，q行和列的元素发生了改变，旋转角的计算过程和2维时一样，其意义是使得apq和aqp值为零，这样每次迭代都使得非对角线上绝对值最大的元素变为零，所以整个迭代的过程就是使对角线外元素逐步逼近于零，这是对角线上的元素即为原对称矩阵的特征值λ_i。在进行Jacobi迭代时，假如i次迭代时旋转矩阵为Ui，每次迭代对单位矩阵I依次左乘Ui，最终迭代结束后可得矩阵D=U_k…U₂U₁I，这里k为迭代次数，则可以证明D的列向量即为特征值λ_i对应的特征向量，证明如下：

上述推导过程中d_i为矩阵D的i列表示的列向量，由最后的等式及特征值定义，可以得知λ_i是A的特征值，d_i为对应的特征向量。