lxylww 2018-06-13
蜜枣网与微软亚研院合作,将情绪识别应用到了上述的商场及教育教学场景中,蜜枣网自身聚焦于应用研究,即如何把基础研究投入实际应用中,解决实际的问题。蜜枣网着重于视频数据处理、场景分析算法和行业深度应用方面,也取得了相应的研发专利,而情绪智能则由微软亚研院提供技术支持。
对于情绪识别技术主要有三个核心环节:人脸检测、人脸表情特征提取、人脸表情的情感分类。其中最主要的是人脸表情特征提取。
根据表情发生时的状态和处理对象来区分,人脸表情特征提取算法大体分为基于静态图像的特征提取方法和基于动态图像的特征提取方法。其中基于静态图像的特征提取算法可分为整体法和局部法,基于动态图像的特征提取算法又分为光流法、模型法和几何法。光照、年龄、图像分辨率等因素都会影响人脸表情识别的性能,有效提取特征是核心问题。
从整体上看,人脸肌肉的变化造成了面部器官的明显形变,因此出现了从整体角度考虑表情特征的人脸表情识别算法。所运用的算法主要包括主成分分析法(Principal Component Analysis,PCA)、独立成分分析法(Indenpent Component Analysis,ICA)和线性判别分析法(Linear Discriminant Analysis,LDA)。
·主成分分析法是一种无监督方法,其优点是不需要待处理样本的类别信息,同时可以有效地处理高维数据。缺点是该方法处理数据时产生的协方差矩阵维数过高,影响了算法的运行。
·独立成分分析法属于无监督方法,可以提取像素间隐藏的信息,并且适合非高斯分布的数据处理,但是算法的实时性有待提高。
·线性判别分析法属于有监督方法,其特点是充分地保留了样本的类别结构。
面部肌肉的纹理、皱褶等局部形变所蕴含的信息,有助于精确地判断表情的属性。局部法的经典方法是Gabor小波法和局部二值模式(Local Binary Pattern,LBP)。
·Gabor小波法在特征提取方面具有良好的视觉特性和生物学背景。但是该算法需要计算不同尺度和方向的小波核函数,由此产生的高维特征向量既不利于算法的实时处理,又在一定程度上造成了信息冗余。
·局部二值模式可以更有效地提取人脸表情特征,具有旋转不变性和灰度不变性等优点,但高维直方图影响了算法的实时性,而且该算法产生的二值数据容易受到噪声的干扰。
动态图像的表情特征主要表现在人脸的持续形变和面部不同区域的肌肉运动上。目前基于动态图像的特征提取方法主要分为光流法、模型法和几何法。
早期的人脸表情识别算法多采用光流法提取动态图像的表情特征,这主要在于光流法具有突出人脸形变、反映人脸运动趋势的优点。连续帧之间的光流场和梯度场,分别表示图像的时空变化,实现每帧人脸图像的表情区域跟踪;然后通过特征区域运动方向的变化,表示人脸肌肉的运动,进而对应不同的表情。
人脸表情识别中的模型法是指对动态图像的表情信息进行参数化描述的统计方法。常用算法主要包括主动形状模型法(ASM)和主动外观模型法(AAM),ASM反映的是图像的局部纹理信息,而AAM反映的是图像的全局纹理信息。
几何法是在动态图像的特征提取中应用最广泛的方法。动态图像通过人脸特征点在每帧中的变化反映了表情的完整过程,为几何计算提供了丰富的信息;而且从动态图像中提取的几何特征对应着人脸的不同表情区域,这些特征适合用于动作单元的识别。
蜜枣网的情绪识别系统通过在商场的出入口、客流热区等地安装摄像头,利用人脸识别技术进行客流去重得到真实的客流量,从而分析男女比例和年龄比例,捕捉冷热区和客流动线。利用情绪识别技术捕捉消费者的满意度、兴趣偏好和体验变化等个性化的数据,从而进行消费分层管理和精准营销。