01开展史1. 人脸辨认的了解人脸辨认(Face Recognition)是一种根据人的面部特征(如统计或几何特征等)，自动停止身份辨认的一种生物辨认技术，又称爲面像辨认、人像辨认、容颜辨认、面孔辨认、面部辨认等。通常我们所说的人脸辨认是基于光学人脸图像的身份辨认与验证的简称。人脸辨认应用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸图像停止一系列的相关使用操作。技术上包括图像采集、特征定位、身份确实认和查找等等。复杂来说，就是从照片中提取人脸中的特征，比方眉毛高度、嘴角等等，再经过特征的比照输入后果。2. 人脸辨认的开展简史第一阶段（1950s—1980s）初级阶段人脸辨认被当作一个普通性的形式辨认成绩，主流技术基于人脸的几何构造特征。这集中表现在人们关于剪影（Profile）的研讨上，人们对面部剪影曲线的构造特征提取与剖析方面停止了少量研讨。人工神经网络也一度已经被研讨人员用于人脸辨认成绩中。较早从事 AFR 研讨的研讨人员除了布莱索（Bledsoe）外还有戈登斯泰因（Goldstein）、哈蒙（Harmon）以及金出武雄(Kanade Takeo)等。总体而言，这一阶段是人脸辨认研讨的初级阶段，十分重要的效果不是很多，也根本没有取得实践使用。第二阶段（1990s）低潮阶段这一阶段虽然工夫绝对长久，但人脸辨认却开展迅速，不但呈现了很多经典的办法，例如Eigen Face, Fisher Face和弹性图婚配；并呈现了若干商业化运作的人脸辨认零碎，比方最爲著名的 Visionics（现爲 Identix）的 FaceIt 零碎。 从技术方案上看， 2D人脸图像线性子空间判别剖析、统计表观模型、统计形式辨认办法是这一阶段内的主流技术。第三阶段（1990s末~如今）人脸辨认的研讨不时深化，研讨者开端关注面向真实条件的人脸辨认成绩，次要包括以下四个方面的研讨：1）提出不同的人脸空间模型，包括以线性判别剖析爲代表的线性建模办法，以Kernel办法爲代表的非线性建模办法和基于3D信息的3D人脸辨认办法。2）深化剖析和研讨影响人脸辨认的要素，包括光照不变人脸辨认、姿势不变人脸辨认和表情不变人脸辨认等。3）应用新的特征表示，包括部分描绘子（Gabor Face, LBP Face等）和深度学习办法。4）应用新的数据源，例如基于视频的人脸辨认和基于素描、近红外图像的人脸辨认。02市场研讨1. 全球人脸辨认市场前瞻依据人脸辨认行业发展示状；到2016年，全球生物辨认市场规模在127.13亿美元左右，其中人脸辨认规模约26.53亿美元，占比在20%左右。估计到2021年，全球人脸辨认市场估计将到达63.7亿美元，按估计时期的复合增长率达17.83％。2. 中国人脸辨认市场前瞻依据人脸辨认行业发展示状，预算我国人脸辨认市场规模约占全球市场的10%左右。2010-2016年，我国人脸辨认市场规模逐年增长，年均复合增长率达27%。2016年，我国人脸辨认行业市场规模约爲17.25亿元，同比增长27.97%，增速较上年上升4.64个百分点。3. 国际次要玩家散布3.1 中国局部人脸辨认企业（排名不分先后）3.2 四大独角兽引见及比照细分范畴（1）旷视科技：2014年，获阿里巴巴旗下蚂蚁金服投资，主攻金融和监控两大行业，有子企业旷视智安；团队成员除了几名来自清华校友外，还有来自美国哥伦比亚大学、英国牛津大学和美国南加州大学的科研及开发人员，截至目前员工仅有100余人。在金融、安防、批发范畴辨别开端了商业化探究成功发育出Face++Financial，Face++Security，Face++BI等垂直人脸验证处理方案，次要将人脸辨认使用在互联网商品上，本人做研发，在美图秀秀、淘宝等互联网范畴失掉良好的使用，在金融范畴的市场不断占据沙发前排阵营；2016年取得上亿元C轮融资，最初选择经过计算机视觉技术与NLP技术的结合，制造出能“辨认万物”的智能机器人，提供硬件模组，外面内置他们家的算法。目前正在预备启动IPO的步伐，VIE架构让他们得以绕过A股，不必到达延续三年盈利的规范完成疾速上市。（2）商汤科技：SenseTime（商汤科技），获IDG资本投资，主攻金融、挪动互联网、安防监控三大行业；由香港中文大学的汤晓欧创立，“商汤”中的汤指的就是汤晓欧自己，汤晓鸥及其研讨团队所开发的DeepID算法率先将深度学习使用到人脸辨认上，在技术目标上完成了新的打破。次要案例是围绕各个丑化软件与直播平台制造人脸贴图，重点强化了人脸辨认的关键点检测及跟踪技术。团队有300多号，也从现在toC转向toB范畴；成立于2014年的商汤科技选择另辟蹊径，选择用“四大美女”这个话题让人们躁动起来，到最初四大美女走了三个；商汤的网络都是本人设计的，这样关于深度学习网络的掌控力就会更强，提供SaaS效劳的同时，可以经过SaaS把面前的数据拿到，再停止更多更细致的剖析再次提升效劳质量。（3）云从科技：2015年4月，周曦拿到战略投资成立云从科技，同年针对金融和银行业推出了40多种处理方案，包括从算法、商品、销售、售后的全产业链打造，针对农行、建行、交行、中行及多地公安提供定制化效劳。团队成员除了来自中科大的校友外，还来自中国迷信院各大研讨所、UIUC、IBM、NEC、MicroSoft等全球顶尖学府及研讨机构。截止2016年11月，成立一年半，研发团队扩展爲200余名，中心商品是人脸辨认零碎及IBIS集成生物辨认平台，还具有3D模型、红外活体、静默活体等技术，可依据场景需求自在调理。选择衔接硬件、开发与技术，属于全产业链形式，由于人脸辨认零碎少数状况下需求深度定制，只要这样，才干在客户提出需求的状况下迅速反应，修正，一致用户体验。（4）依图科技：2012 年九月，朱珑与他的好友林晨曦在创建依图科技，这家从事人工智能创新性研讨的创企从图像辨认动手，首先与全国省市级公安零碎协作，对车辆品牌、型号等停止精准辨认，随后扩展到人像辨认，经过静态人像比对技术和静态人像比对技术，帮助公安零碎停止人员身份核对、追逃、监控、关系发掘等。开展近6年，依图科技的商品曾经使用到全国二十多个省市地域的安防范畴，安防范畴之外，依图也进入智慧城市范畴和安康医疗范畴，它要帮助政府构建"城市大脑"，也希望将医疗范畴的宏大知识鸿沟减少，改善医患体验。（5）细分范畴比照表（6）次要客户比照4. 商业形式4.1 人脸辨认商业形式设计步骤4.2 人脸辨认盈利形式03人脸辨认的流程及次要技术1. 人脸辨认零碎组成2. 人脸辨认的普通流程2.1 人脸采集（1）简介不同的人脸图像经过摄像镜头采集失掉，比方静态图像、静态图像、不同的地位、不同表情等，当采集对象在设备的拍摄范围内时，采集设备会自动搜索并拍摄人脸图像。（2）人脸采集的次要影响要素图像大小：人脸图像过小会影响辨认效果，人脸图像过大会影响辨认速度。非专业人脸辨认摄像头罕见规则的最小辨认人脸像素爲60*60或100*100以上。在规则的图像大小内，算法更容易提升精确率和召回率。图像大小反映在实践使用场景就是人脸离摄像头的间隔。图像分辨率：越低的图像分辨率越难辨认。图像大小综合图像分辨率，间接影响摄像头辨认间隔。现4K摄像头看清人脸的最远间隔是10米，7K摄像头是20米。光照环境：过曝或过暗的光照环境都会影响人脸辨认效果。可以从摄像头自带的功用补光或滤光均衡光照影响，也可以应用算法模型优化图像光线。模糊水平：实践场景次要着力处理运动模糊，人脸绝对于摄像头的挪动常常会发生运动模糊。局部摄像头有抗模糊的功用，而在本钱无限的状况下，思索经过算法模型优化此成绩。遮挡水平：五官无遮挡、脸部边缘明晰的图像爲最佳。而在实践场景中，很多人脸都会被帽子、眼镜、口罩等遮挡物遮挡，这局部数据需求依据算法要求决议能否留用训练。采集角度：人脸绝对于摄像头角度爲正脸最佳。但实践场景中往往很难抓拍正脸。因而算法模型需训练包括左右侧人脸、上下侧人脸的数据。工业施工上摄像头安顿的角度，需满足人脸与摄像头构成的角度在算法辨认范围内的要求。2.2 人脸检测（1）简介在图像中精确标定出人脸的地位和大小，并把其中有用的信息挑出来（如直方图特征、颜色特征、模板特征、构造特征及Haar特征等），然后应用信息来到达人脸检测的目的。（2）人脸关键点检测（人脸对齐）自动估量人脸图片上脸部特征点的坐标。（3）主流办法基于检测出的特征采用Adaboost学习算法（一种用来分类的办法，它把一些比拟弱的分类办法合在一同，组合出新的很强的分类办法）挑选出一些最能代表人脸的矩形特征（弱分类器），依照加权投票的方式将弱分类器结构爲一个强分类器，再将训练失掉的若干强分类器串联组成一个级联合构的层叠分类器，无效地进步分类器的检测速度。最近人脸检测算法模型的流派包括三类及其之间的组合：viola-jones框架（功能普通速度尚可，合适挪动端、嵌入式上运用），dpm（速度较慢），cnn（功能不错）。2.3 人脸图像预处置（1）简介基于人脸检测后果，对图像停止处置并最终效劳于特征提取的进程。（2）缘由零碎获取的原始图像由于遭到各种条件的限制和随机搅扰，往往不能间接运用，必需在图像处置的晚期阶段对它停止灰度矫正、噪声过滤等图像预处置。（3）次要预处置进程人脸对准（失掉人脸地位端正的图像），人脸图像的光线补偿，灰度变换、直方图平衡化、归一化（获得尺寸分歧，灰度取值范围相反的规范化人脸图像），几何校正、中值滤波（图片的平滑操作以消弭噪声）以及锐化等。2.4 人脸特征提取（1）简介人脸辨认零碎可运用的特征通常分爲视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征停止的，也称人脸表征，它是对人脸停止特征建模的进程（2）人脸特征提取的办法基于知识的表征办法（次要包括基于几何特征法和模板婚配法）：依据人脸器官的外形描绘以及它们之间的间隔特性来取得有助于人脸分类的特征数据，其特征重量通常包括特征点间的欧氏间隔、曲率、和角度等。人脸由眼睛、鼻子、嘴、下巴等部分构成，对这些部分和他们之间构造关系的几何描绘，可作爲辨认人脸的重要特征，这些特征被称爲几何特征。基于代数特征或统计学习的表征办法：基于代数特征办法的根本思想是将人脸在空域内的高维描绘转化爲频域或许其他空间内的低维描绘，其表征办法爲线性投影表征办法和非线性投影表征办法。基于线性投影的办法次要有主成分剖析法或称K-L变化、独立成分剖析法和Fisher线性判别剖析法。非线性特征提取办法有两个重要的分支：基于核的特征提取技术和以流形学习爲主导的特征提取技术。2.5 婚配与辨认提取的人脸特征值数据与数据库中存贮的特征模板停止搜索婚配，经过设定一个阈值，将类似度与这一阈值停止比拟，来对人脸的身份信息停止判别。3. 人脸辨认的次要办法3.1 Eigen Face（特征脸）MIT实验室的特克（Turk）和潘特（Pentland）提出的“特征脸”办法无疑是这一时期内最负盛名的 人脸辨认办法。其后的很多人脸辨认技术都或多或少与特征脸有关系，如今特征脸曾经与归一化的协相关量(Normalized Correlation)办法一道成爲人脸辨认的功能测试基准算法。人脸辨认特征脸算法文档：https://blog.csdn.net/zizi7/article/details/527573003.2 Fisher Face（渔夫脸）贝尔胡米尔（Belhumeur）等提出的 Fisherface 人脸辨认办法是这一时期的另一重要效果。该办法首先采用主成分剖析（PCA）对图像表观特征停止降维。在此根底上，采用线性判别剖析（LDA）的办法 变换降维后的主成分以期取得“尽量大的类间散度和尽量小的类内散度”。该办法目前依然是主流的人脸辨认办法之一，发生了很多不同的变种，比方零空间法、子空间判别模型、加强判别模型、间接的LDA 判别办法以及近期的一些基于核学习的改良战略。Fisher Face算法文档：https://blog.csdn.net/zizi7/article/details/529994323.3 EGM（弹性图婚配）其根本思想是用一个属性图来描绘人脸：属性图的顶点代外表部关键特征点，其属性爲相应特征点处 的多分辨率、多方向部分特征——Gabor变换12特征，称爲Jet；边的属性则爲不同特征点之间的几何 关系。对恣意输出人脸图像，弹性图婚配经过一种优化搜索战略来定位事后定义的若干面部关键特征点，同时提取它们的Jet特征，失掉输出图像的属性图。最初经过计算其与已知人脸属性图的类似度来完成辨认进程。该办法的优点是既保存了面部的全局构造特征，也对人脸的关键部分特征停止了建模。弹性图婚配算法文档：https://blog.csdn.net/real_myth/article/details/448282193.4 基于几何特征的办法几何特征可以是眼、鼻、嘴等的外形和它们之间的几何关系（如互相之间的间隔）。这些算法辨认速 度快，需求的内存小，但辨认率较低。3.5 基于神经网络的办法神经网络的输出可以是降低分辨率的人脸图像、部分区域的自相关函数、部分纹理的二阶矩等。这类办法异样需求较多的样本停止训练，而在许多使用中，样本数量是很无限的。3.6 基于线段Hausdorff 间隔(LHD) 的办法心思学的研讨标明，人类在辨认轮廓图（比方漫画）的速度和精确度上丝毫不比辨认灰度图差。LHD是基于从人脸灰度图像中提取出来的线段图的，它定义的是两个线段集之间的间隔，异乎寻常的是，LHD并不树立不同线段集之间线段的逐个对应关系，因而它更能顺应线段图之间的巨大变化。实验后果标明，LHD在不同光照条件下和不同姿势状况下都有十分出色的表现，但是它在大表情的状况下辨认效果不好。3.7 基于支持向量机(SVM) 的办法近年来，支持向量机是统计形式辨认范畴的一个新的热点，它试图使得学习机在经历风险和泛化才能上到达一种妥协，从而进步学习机的功能。支持向量机次要处理的是一个2分类成绩，它的根本思想是试图把一个低维的线性不可分的成绩转化成一个高维的线性可分的成绩。通常的实验后果标明SVM有较好的辨认率，但是它需求少量的训练样本（每类300个），这在实践使用中往往是不理想的。而且支持向量机训练工夫长，办法完成复杂，该函数的取法没有一致的实际。4. 技术开展方向结合三维信息：二维和三维信息交融使特征愈加鲁棒多特征交融：单一特征难以应对复杂的光照和姿势变化大规模人脸比对：面向海量数据的人脸比对与搜索深度学习：在大数据条件下充沛发扬深度神经网络弱小的学习才能5. 人脸辨认数据库Yale人脸数据库ORL人脸数据库CMU PIE人脸数据库FERET人脸数据库MIT数据库BANCA人脸数据库CAS-PEAL人脸数据库JAFE表情数据库Cohn-Kanade表情数据库MMI表情数据库6. 技术目标6.1 人脸检测中的关键目标例子：在摄像头某张抓拍图像中，一共有100张人脸，算法检测出80张人脸，其中75张是真实人脸，5 张是把路标误识爲人脸。检测率：辨认正确的人脸/图中一切的人脸。检测率越高，代表检测模型效果越好。误检率：辨认错误的人脸/辨认出来的人脸。误检率越低，代表检测模型效果越好。漏检率：未辨认出来的人脸/图中一切的人脸。漏检率越低，代表检测模型效果越好。速度：从采集图像完成到人脸检测完成的工夫。工夫约短，检测模型效果越好。在这个实践案例中：检测率=75/100误检率=5/80漏检率=（100-75）/1006.2 人脸辨认中的关键目标1000张样本图片里，共600张正样本。类似度爲0.9的图片一共100张，其中正样本爲99张。虽然0.9阈值的正确率很高，爲99/100；但是0.9阈值正确输入的数量确很少，只要99/600。这样很容易发作漏识的状况。