為了有效阻止新冠病毒的傳播和感染，近兩個(gè)多月來世界各國人民都帶上了口罩。雖然口罩能夠幫助我們抵御病毒 ，但先前已經(jīng)廣泛使用的人臉識(shí)別系統(tǒng)卻無法正常工作了，包括乘坐交通工具認(rèn)證、門禁、打卡、手機(jī)解鎖和付款等功能都無法正常進(jìn)行。因此研發(fā)出佩戴口罩的人臉識(shí)別系統(tǒng)對(duì)于復(fù)工復(fù)產(chǎn)和正常的社會(huì)經(jīng)濟(jì)活動(dòng)具有十分重要的作用。

目前絕大多數(shù)的人臉識(shí)別系統(tǒng)都需要大規(guī)模的數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)。雖然很多公司提出了自己的口罩人臉識(shí)別方案，但目前卻還沒有開源的人臉佩戴口罩公開數(shù)據(jù)集。

為了有效助力疫情防控中的人臉識(shí)別，促進(jìn)復(fù)工復(fù)產(chǎn)的順利進(jìn)行，來自武漢大學(xué)的研究人員提出了三種佩戴口罩的人臉數(shù)據(jù)集，包括1、口罩佩戴檢測(cè)人臉數(shù)據(jù)集（Masked Face Detection Dataset，MFDD）2、真實(shí)世界的口罩佩戴人臉識(shí)別數(shù)據(jù)集（Real－world Masked Face Recognition Dataset， RMFRD）3、模擬口罩佩戴人臉識(shí)別數(shù)據(jù)（Simulated Masked Face Recognition Dataset， SMFRD）

其中RMFRD是目前世界上最大的公開人臉口罩佩戴數(shù)據(jù)集，可以廣泛用于人臉識(shí)別、口罩佩戴檢測(cè)和多種識(shí)別任務(wù)中。實(shí)驗(yàn)表明，這一數(shù)據(jù)和對(duì)應(yīng)方法可以實(shí)現(xiàn)95％的佩戴口罩人臉識(shí)別準(zhǔn)確率。

口罩抗疫，技術(shù)護(hù)航

我們周圍的每個(gè)人幾乎都在這次疫情中帶起了口罩保護(hù)自己，為抗疫作出自己的貢獻(xiàn)。然而在過去一段時(shí)間，人臉識(shí)別這一計(jì)算機(jī)視覺最為重要的應(yīng)用在諸多場合失效了，除了日常生活不便外、在公共場所人臉識(shí)別的失效將會(huì)帶來較大的安全風(fēng)險(xiǎn)。同時(shí)在疫情期間，非接觸式的人臉識(shí)別與授權(quán)驗(yàn)證的優(yōu)勢(shì)也顯現(xiàn)了出來，比人臉識(shí)別認(rèn)證比指紋識(shí)別或輸入密碼更加安全。

人臉識(shí)別技術(shù)基本上依賴于面部關(guān)鍵點(diǎn)和特征的檢測(cè)，絕大部分都是利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)。在佩戴口罩的情況下只能漏出眉眼和額頭，需要對(duì)算法進(jìn)行重新訓(xùn)練，更重要的是需要龐大的佩戴口罩人臉數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。目前需求最大的任務(wù)要數(shù)口罩佩戴檢測(cè)和佩戴口罩人臉識(shí)別兩個(gè)應(yīng)用了。

目前進(jìn)入公共場所都需要佩戴口罩，利用視覺檢測(cè)進(jìn)入場所的個(gè)人是否佩戴口罩對(duì)于疫情防控十分必要！而佩戴口罩者人臉身份識(shí)別則對(duì)于各類需要人臉識(shí)別認(rèn)證、授權(quán)和支付的場合至關(guān)重要。這兩類任務(wù)需要不同的數(shù)據(jù)集進(jìn)行訓(xùn)練，前者只需要佩戴口罩的人臉樣本而后者則需要同一主體佩戴口罩和正常狀況下的多張照片，構(gòu)建的難度更大。針對(duì)用途的不同，研究人員分類構(gòu)建了口罩佩戴檢測(cè)數(shù)據(jù)集MFDD，真實(shí)口罩人臉識(shí)別數(shù)據(jù)集RMFRD和模擬人臉口罩?jǐn)?shù)據(jù)集SMFRD。

三種數(shù)據(jù)集，了解一下！

MFDD的數(shù)據(jù)主要來源于兩部分：其中一部分?jǐn)?shù)據(jù)來自于aizoo．com先前的研究，而另一部分則從互聯(lián)網(wǎng)上爬取，并對(duì)其進(jìn)行了口罩佩戴和位置標(biāo)注，最終構(gòu)建了包含2771張口罩佩戴圖片。MFDD數(shù)據(jù)可用于訓(xùn)練精確的佩戴口罩的人臉檢測(cè)模型，同時(shí)可以作為口罩人臉識(shí)別的預(yù)處理工具。此外還可用于判斷圖像中的個(gè)人是否按照規(guī)定佩戴口罩。

RMFRD則使用爬蟲爬取公眾人物的正面照和對(duì)應(yīng)的口罩人臉照，并利用人工去除一系列不符合要求的人臉圖像。隨后利用LabelMe剪切了人物的頭部從而得到了包含525個(gè)人的90000張頭像。這是目前最大的公開人臉佩戴口罩?jǐn)?shù)據(jù)集，下圖顯示了一些數(shù)據(jù)樣本：

為了擴(kuò)充數(shù)據(jù)的多樣性，研究人員同時(shí)制作了合成數(shù)據(jù)集SMFRD，利用Dlib將口罩合成到現(xiàn)有的大規(guī)模人臉數(shù)據(jù)集上（包括LFW和Webface數(shù)據(jù)集），通過這樣的方法研究人員構(gòu)建了包含一萬個(gè)人的五十萬張合成口罩佩戴圖像。下圖顯示了一系列合成的口罩佩戴圖像。

口罩佩戴人臉識(shí)別

人臉識(shí)別基本分為兩種場景：受控和非受控環(huán)境。
其中非受控環(huán)境主要是公共監(jiān)控下，人臉的距離、光照、位姿、遮擋等帶來的不確定性，這種場景下的識(shí)別精度較低，再加上口罩后會(huì)使得精度進(jìn)一步下降。

而受控場景主要包括公司門禁、打卡、火車站人臉查驗(yàn)和手機(jī)解鎖等場景，這些場景具有高質(zhì)量的正面照使得佩戴口罩識(shí)別的難度有所下降。即使口罩遮擋了部分面部，上半部分的眉眼額等特征也可以被用于人臉識(shí)別。

在本研究中提出的人臉識(shí)別技術(shù)兼顧了兩方面的因素，一方面是構(gòu)建數(shù)據(jù)集，另一面則充分利用未被遮擋部分的人臉特征。研究人員充分利用了現(xiàn)有公開人臉數(shù)據(jù)集，并結(jié)合上文中提出的數(shù)據(jù)集來訓(xùn)練面部－眉眼多粒度口罩人臉識(shí)別模型。研究人員對(duì)人臉輪廓、眼部、眼周圍、前額等面部可見區(qū)域的關(guān)鍵特征使用了不同的注意力權(quán)重，有效地解決了面部可識(shí)別特征的不平衡分布問題。在這些方法的提升下，研究人員最終將模型的識(shí)別精度從50％提升到了95％。

應(yīng)用與展望

也許是疫情來勢(shì)兇猛，只有少數(shù)機(jī)構(gòu)實(shí)現(xiàn)了人臉口罩佩戴情況下的準(zhǔn)確識(shí)別。據(jù)作者了解，商湯目前在50％鼻子暴露的情況下達(dá)到了85％的準(zhǔn)確率，漢王科技也達(dá)到了85％的識(shí)別精度，小視科技則報(bào)道了90％的識(shí)別精度。而本文提出的面部－眉眼多粒度口罩人臉識(shí)別模型則達(dá)到了95％的識(shí)別精度，但與常規(guī)情況下達(dá)到99％的人臉識(shí)別相比還不是太可靠。
而在另一識(shí)別主體是否佩戴口罩的任務(wù)中，騰訊、百度和京東等公司都達(dá)到了超過99％的精度。本文提出的數(shù)據(jù)集和算法將有效提升口罩佩戴檢測(cè)和佩戴口罩人臉識(shí)別的精度，為基于人臉的授權(quán)、驗(yàn)證等場景應(yīng)用提供較好的解決方案，為疫情期間甚至冬季霧霾期間佩戴口罩情況下的各類人臉識(shí)別場景作出貢獻(xiàn)。

山川異域，風(fēng)月同天；共同戰(zhàn)疫，全球加油!