基于mtcnn与facenet实现人脸登录系统

Blackbox

发布日期: 2019-03-28 14:30:22 浏览量: 687
评分:
star star star star star star star star star star_border
*转载请注明来自write-bug.com

一、介绍

本文主要介绍了系统涉及的人脸检测与识别的详细方法,该系统基于 python2.7.10/opencv2/tensorflow1.7.0 环境,实现了从摄像头读取视频,检测人脸,识别人脸的功能。

人脸识别是计算机视觉研究领域的一个热点。目前,在实验室环境下,许多人脸识别已经赶上(超过)人工识别精度(准确率:0.9427~0.9920),比如face++,DeepID3,FaceNet等(详情可以参考:基于深度学习的人脸识别技术综述)。但是,由于光线,角度,表情,年龄等多种因素,导致人脸识别技术无法在现实生活中广泛应用。本文基于python/opencv/tensorflow环境,采用FaceNet(LFW:0.9963 )为基础来构建实时人脸检测与识别系统,探索人脸识别系统在现实应用中的难点。下文主要内容如下 :

  • 利用htm5 video标签打开摄像头采集头像并使用jquery.faceDeaction组件来粗略检测人脸

  • 将人脸图像上传到服务器,采用mtcnn检测人脸

  • 利用opencv的仿射变换对人脸进行对齐,保存对齐后的人脸

  • 采用预训练的facenet对检测的人脸进行embedding,embedding成512维度的特征

  • 对人脸embedding特征创建高效的annoy索引进行人脸检测

二、人脸采集

采用html5 video标签可以很方便的实现从摄像头读取视频帧,下文代码实现了从摄像头读取视频帧,faceDection识别人脸后截取图像上传到服务器功能。

在html文件中添加video,canvas标签

  1. <div class="booth">
  2. <video id="video" width="400" height="300" muted class="abs" ></video>
  3. <canvas id="canvas" width="400" height="300"></canvas>
  4. </div>

打开网络摄像头

  1. var video = document.getElementById('video'),
  2. var vendorUrl = window.URL || window.webkitURL;
  3. //媒体对象
  4. navigator.getMedia = navigator.getUserMedia || navagator.webkitGetUserMedia || navigator.mozGetUserMedia || navigator.msGetUserMedia;
  5. navigator.getMedia({video: true, //使用摄像头对象audio: false //不适用音频}, function(strem){
  6. video.src = vendorUrl.createObjectURL(strem);
  7. video.play();
  8. });

利用jquery的facetDection组件检测人脸

  1. $('#canvas').faceDetection()

检测出人连脸的话截图,并把图片转换为base64的格式,方便上传

  1. context.drawImage(video, 0, 0, video.width, video.height);
  2. var base64 = canvas.toDataURL('images/png');

将base64格式的图片上传到服务器

  1. //上传人脸图片
  2. function upload(base64) {
  3. $.ajax({
  4. "type":"POST",
  5. "url":"/upload.php",
  6. "data":{'img':base64},
  7. 'dataType':'json',
  8. beforeSend:function(){},
  9. success:function(result){
  10. console.log(result)
  11. img_path = result.data.file_path
  12. }
  13. });
  14. }

图片服务器接受代码,php语言实现

  1. function base64_image_content($base64_image_content,$path){
  2. //匹配出图片的格式
  3. if (preg_match('/^(data:\s*image\/(\w+);base64,)/', $base64_image_content, $result)){
  4. $type = $result[2];
  5. $new_file = $path."/";
  6. if(!file_exists($new_file)){
  7. //检查是否有该文件夹,如果没有就创建,并给予最高权限
  8. mkdir($new_file, 0700,true);
  9. }
  10. $new_file = $new_file.time().".{$type}";
  11. if (file_put_contents($new_file, base64_decode(str_replace($result[1], '', $base64_image_content)))){
  12. return $new_file;
  13. }else{
  14. return false;
  15. }
  16. }else{
  17. return false;
  18. }
  19. }

三、人脸检测

人脸检测方法有许多,比如opencv自带的人脸Haar特征分类器和dlib人脸检测方法等。
对于opencv的人脸检测方法,有点是简单,快速;存在的问题是人脸检测效果不好。正面/垂直/光线较好的人脸,该方法可以检测出来,而侧面/歪斜/光线不好的人脸,无法检测。因此,该方法不适合现场应用。对于dlib人脸检测方法 ,效果好于opencv的方法,但是检测力度也难以达到现场应用标准。

本文中,我们采用了基于深度学习方法的mtcnn人脸检测系统(mtcnn:Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Neural Networks)。mtcnn人脸检测方法对自然环境中光线,角度和人脸表情变化更具有鲁棒性,人脸检测效果更好;同时,内存消耗不大,可以实现实时人脸检测。本文中采用mtcnn是基于python和tensorflow的实现(代码来自于davidsandberg,caffe实现代码参见:kpzhang93)

  1. model= os.path.abspath(face_comm.get_conf('mtcnn','model'))
  2. class Detect:
  3. def __init__(self):
  4. self.detector = MtcnnDetector(model_folder=model, ctx=mx.cpu(0), num_worker=4, accurate_landmark=False)
  5. def detect_face(self,image):
  6. img = cv2.imread(image)
  7. results =self.detector.detect_face(img)
  8. boxes=[]
  9. key_points = []
  10. if results is not None:
  11. #box框
  12. boxes=results[0]
  13. #人脸5个关键点
  14. points = results[1]
  15. for i in results[0]:
  16. faceKeyPoint = []
  17. for p in points:
  18. for i in range(5):
  19. faceKeyPoint.append([p[i], p[i + 5]])
  20. key_points.append(faceKeyPoint)
  21. return {"boxes":boxes,"face_key_point":key_points}

具体代码参考fcce_detect.py。

四、人脸对齐

有时候我们截取的人脸了头像可能是歪的,为了提升检测的质量,需要把人脸校正到同一个标准位置,这个位置是我们定义的,假设我们设定的标准检测头像是这样的。

假设眼睛,鼻子三个点的坐标分别是a(10,30) b(20,30) c(15,45),具体设置可参看config.ini文件alignment块配置项。

采用opencv仿射变换进行对齐,获取仿射变换矩阵

  1. dst_point=【a,b,c
  2. tranform = cv2.getAffineTransform(source_point, dst_point)

仿射变换

  1. img_new = cv2.warpAffine(img, tranform, imagesize)

具体代码参考face_alignment.py文件。

五、产生特征

对齐得到后的头像,放入采用预训练的facenet对检测的人脸进行embedding,embedding成512维度的特征,以(id,vector)的形式保存在lmdb文件中。

  1. facenet.load_model(facenet_model_checkpoint)
  2. images_placeholder = tf.get_default_graph().get_tensor_by_name("input:0")
  3. embeddings = tf.get_default_graph().get_tensor_by_name("embeddings:0")
  4. phase_train_placeholder = tf.get_default_graph().get_tensor_by_name("phase_train:0")
  5. face=self.dectection.find_faces(image)
  6. prewhiten_face = facenet.prewhiten(face.image)
  7. # Run forward pass to calculate embeddings
  8. feed_dict = {images_placeholder: [prewhiten_face], phase_train_placeholder: False}
  9. return self.sess.run(embeddings, feed_dict=feed_dict)[0]

具体代码可参看face_encoder.py。

人脸特征索引

人脸识别的时候不能对每一个人脸都进行比较,太慢了,相同的人得到的特征索引都是比较类似,可以采用KNN分类算法去识别,这里采用是更高效annoy算法对人脸特征创建索引,annoy索引算法的有个假设就是,每个人脸特征可以看做是在高维空间的一个点,如果两个很接近(相识),任何超平面都无法把他们分开,也就是说如果空间的点很接近,用超平面去分隔,相似的点一定会分在同一个平面空间。

  1. #人脸特征先存储在lmdb文件中格式(id,vector),所以这里从lmdb文件中加载
  2. lmdb_file = self.lmdb_file
  3. if os.path.isdir(lmdb_file):
  4. evn = lmdb.open(lmdb_file)
  5. wfp = evn.begin()
  6. annoy = AnnoyIndex(self.f)
  7. for key, value in wfp.cursor():
  8. key = int(key)
  9. value = face_comm.str_to_embed(value)
  10. annoy.add_item(key,value)
  11. annoy.build(self.num_trees)
  12. annoy.save(self.annoy_index_path)

具体代码可参看face_annoy.py。

六、人脸识别

经过上面三个步骤后,得到人脸特征,在索引中查询最近几个点并就按欧式距离,如果距离小于0.6(更据实际情况设置的阈值)则认为是同一个人,然后根据id在数据库查找到对应人的信息即可。

  1. #根据人脸特征找到相似的
  2. def query_vector(self,face_vector):
  3. n=int(face_comm.get_conf('annoy','num_nn_nearst'))
  4. return self.annoy.get_nns_by_vector(face_vector,n,include_distances=True)

具体代码可参看face_annoy.py。

七、安装部署

建表,用于存在用户注册信息,并在web/DqMysql.php 中配置数据库信息。

  1. create database face;
  2. CREATE TABLE `face_user` (
  3. `id` int(11) NOT NULL AUTO_INCREMENT,
  4. `img` varchar(1024) NOT NULL DEFAULT '',
  5. `user_name` varchar(1024) NOT NULL DEFAULT '',
  6. `email` varchar(1024) NOT NULL DEFAULT '',
  7. PRIMARY KEY (`id`)
  8. ) ENGINE=InnoDB DEFAULT CHARSET=utf8

系统采用有两个模块组成:

  • face_web:提供用户注册登录,人脸采集,php语言实现

  • face_server:提供人脸检测,裁剪,对齐,识别功能,python语言实现

模块间采用socket方式通信通信格式为:length+content;face_server相关的配置在config.ini文件中。

使用镜像

  • face_serverdocker镜像:shareclz/python2.7.10-face-image

  • face_web镜像:skiychan/nginx-php7

假设项目路径为/data1/face-login

安装face_server容器

  1. docker run -it --name=face_server --net=host -v /data1:/data1 shareclz/python2.7.10-face-image /bin/bash
  2. cd /data1/face-login
  3. rm -rf /data1/face-login/models/facedetect/20180408-102900/._model-20180408-102900.meta
  4. python face_server.py

安装face_web容器

  1. docker run -it --name=face_web --net=host -v /data1:/data1 skiychan/nginx-php7 /bin/bash
  2. cd /data1/face-login;
  3. php -S 0.0.0.0:9988 -t ./web/

最终效果:

face_server加载mtcnn模型和facenet模型后等待人脸请求

未注册识别失败

人脸注册

注册后登录成功

注意

由于模型文件过大,在此无法上传,整个项目放在百度云盘,地址:

  1. 链接: https://pan.baidu.com/s/1z9CFnK6fNsUl-1jVmnaOiw
  2. 提取码: ktdp
上传的附件 cloud_download 基于mtcnn与facenet实现人脸登录系统.7z ( 12.54mb, 1次下载 )
error_outline 下载需要13点积分

发送私信

一个人的喜悦,无非是岁月静好,现世安稳

8
文章数
9
评论数
最近文章
eject