woxincd 2018-02-03
人脸识别技术大致由人脸检测和人脸识别两个环节组成。之所以要有人脸检测,不光是为了检测出照片上是否有人脸,更重要的是把照片中人脸无关的部分删掉,否则整张照片的像素都传给f(x)识别函数肯定就不可用了。人脸检测不一定会使用深度学习技术,因为这里的技术要求相对低一些,只需要知道有没有人脸以及人脸在照片中的大致位置即可。一般我们考虑使用OpenCV、dlib等开源库的人脸检测功能(基于专家经验的传统特征值方法计算量少从而速度更快),也可以使用基于深度学习实现的技术如MTCNN(在神经网络较深较宽时运算量大从而慢一些)。下面
环境搭建:
1. 安装 Ubuntu17.10 > 安装步骤在这里
2. 安装 Python2.7.14 (Ubuntu17.10 默认Python版本为2.7.14)
3. 安装 git 、cmake 、 python-pip
# 安装 git $ sudo apt-get install -y git # 安装 cmake $ sudo apt-get install -y cmake # 安装 python-pip $ sudo apt-get install -y python-pip
4. 安装编译dlib
安装face_recognition这个之前需要先安装编译dlib
# 编译dlib前先安装 boost $ sudo apt-get install libboost-all-dev # 开始编译dlib # 克隆dlib源代码 $ git clone https://github.com/davisking/dlib.git $ cd dlib $ mkdir build $ cd build $ cmake .. -DDLIB_USE_CUDA=0 -DUSE_AVX_INSTRUCTIONS=1 $ cmake --build .(注意中间有个空格) $ cd .. $ python setup.py install --yes USE_AVX_INSTRUCTIONS --no DLIB_USE_CUDA
5. 安装 face_recognition
# 安装 face_recognition $ pip install face_recognition # 安装face_recognition过程中会自动安装 numpy、scipy 等
基于Mac的OpenCV环境
建议使用Brew 安装,如果没有安装brew,先执行下面命令:
$/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”
然后,指定目标仓库 $brew tap homebrew/science
安装OpenCV3 $brew install opencv3
安装速度取决于网络,安装完毕需要绑定Python开发环境,有多种土方法:
1)增加环境变量,将opencv 的site-packages 添加到PYTHONPATH中
2)使用ln 软连接,将cv2.so 链接到python 环境的 site-packages中
3)直接cp cv2.so 到 python 环境的 site-packages 目录下
更简单地是执行如下命令:
echo /usr/local/opt/opencv3/lib/python2.7/site-packages >> /usr/local/lib/python2.7/site-packages/opencv3.pth mkdir -p /Users/hecom/.local/lib/python2.7/site-packages echo 'import site; site.addsitedir("/usr/local/lib/python2.7/site-packages")' >> /Users/hecom/.local/lib/python2.7/site-packages/homebrew.pth1234
对于强迫症患者
可以全面安装opencv的各种插件,如3方插件,视频插件等:
$brew install opencv3 --with-contrib --with-cuda --with-ffmpeg --with-tbb --with-qt5
可能会遇到很多坑,如
Error: You must ‘brew link texi2html’ before homebrew/science/opencv3 can be installed
当你执行 $brew link texi2html
时又会遇错:
Error: Cowardly refusing to 'sudo brew link'
You can use brew with sudo, but only if the brew executable is owned by root.
However, this is both not recommended and completely unsupported so do so atyour own risk
说明brew 的权限有问题, 需要解决:
$sudo chown root:wheel ‘which brew’
在Ubuntu上OpenCV3的源码安装
在Ubantu上安装先要做一下准备活动
$ aptitude -f install $ sudo apt-get update123
然后安装编译环境:
$sudo apt-get install build-essential
安装依赖库
$sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
还要安装python 依赖及其它依赖库
$sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev
获得opencv源代码
git clone https://github.com/Itseez/opencv.git
终于可以编译安装了:
$cd opencv $cmake -D CMAKE_INSTALL_PREFIX=/home/opencv/build -D CMAKE_BUILD_TYPE=RELEASE ..123
最后,安装python-opencv:
$sudo apt-get install python-opencv
OpenCV的Python环境简单验证
一行代码验证OpenCV的Python环境是否成功:
$python -c “import cv2; print dir(cv2)”
如果输出了很多cv2 的属性和函数名的字典,就表示成功;否则的话,还需要继续填坑。
来看看一张图片中有几个人,没有高大上,只是觉得好玩,而且只需要7行代码。
import cv2 face_patterns = cv2.CascadeClassifier('/usr/local/opt/opencv3/share/OpenCV/haarcascades/haarcascade_frontalface_default.xml') sample_image = cv2.imread('/Users/abel/201612.jpg') faces = face_patterns.detectMultiScale(sample_image,scaleFactor=1.1,minNeighbors=5,minSize=(100, 100)) for (x, y, w, h) in faces: cv2.rectangle(sample_image, (x, y), (x+w, y+h), (0, 255, 0), 2) cv2.imwrite('/Users/abel/201612_detected.png', sample_image);12345678910111213
第1行 引入 OpenCV
开源是伟大的,使我们视野更开阔,而且不用重复造轮子。这里没有用PIL,再结合特定算法,而是直接使用了OpenCV(http://opencv.org)。OpenCV是一个基于BSD许可发行的跨平台计算机视觉库,可以运行在Linux、Windows和Mac OS操作系统上,轻量而且高效,用C/C++编写,同时提供了Python、Ruby、MATLAB等接口,实现了图像处理和计算机视觉方面的很多通用算法。
第2行 加载分类器 cv2.CascadeClassifier
CascadeClassifier是Opencv中做人脸检测时候的一个级联分类器,该类中封装的是目标检测机制即滑动窗口机制+级联分类器的方式。数据结构包括Data和FeatureEvaluator两个主要部分。Data中存储的是从训练获得的xml文件中载入的分类器数据;而FeatureEvaluator中是关于特征的载入、存储和计算。这里采用的训练文件是OpenCV中默认提供的haarcascade_frontalface_default.xml。至于Haar,LBP的具体原理,可以参考opencv的相关文档,简单地,可以理解为人脸的特征数据。
第3行 加载目标图片 imread
人脸识别系统一般分为:人脸图像采集、人脸图像预处理、人脸图像特征提取以及匹配与识别。
第4行 多尺度检测 detectMultiScale
调用 CascadeClassifier 中的调detectMultiScale函数进行多尺度检测,多尺度检测中会调用单尺度的方法detectSingleScale。
参数说明:
scaleFactor 是 图像的缩放因子
minNeighbors 为每一个级联矩形应该保留的邻近个数,可以理解为一个人周边有几个人脸
minSize 是检测窗口的大小
这些参数都是可以针对图片进行调整的,处理结果返回一个人脸的矩形对象列表。
第5行 和 第6行 为每个人脸画一个框
循环读取人脸的矩形对象列表,获得人脸矩形的坐标和宽高, 然后在原图片中画出该矩形框,调用的是OpenCV的rectangle 方法,其中矩形框的颜色等是可调整的。
第7行 保存检测后的结果
万事具备了,调用imwrite,将检测后的结果保存到指定的位置。结果图如下:
神秘感不是这7行代码,而是OpenCV中的相关实现,OpenCV的中文网也是一个学习体会的好场所。
因此,7行代码只是个噱头,真正的核心是OpenCV。然后,安装OpenCV环境的时候就是有一些坑,特别记录一下。
▍Face Recognition软件包
你可以通过Python引用或者命令行的形式使用它,来管理和识别人脸。
该软件包使用dlib中最先进的人脸识别深度学习算法,使得识别准确率在《Labled Faces in the world》测试基准下达到了99.38%。
它同时提供了一个叫face_recognition的命令行工具,以便你可以用命令行对一个文件夹中的图片进行识别操作。
▍特性
找到图片中所有的人脸
找到并操作图片中的脸部特征
获得图片中人类眼睛、鼻子、嘴、下巴的位置和轮廓
找到脸部特征有很多超级有用的应用场景,当然你也可以把它用在最显而易见的功能上:美颜功能(就像美图秀秀那样)
你甚至可以用这个软件包做人脸的实时识别