人臉檢測98點精確解讀

1、2018/8/8我愛計算機視覺！清華& 開源CVPR2018超高精度人臉對齊算 AB：52CV 我愛計算機視覺 今天清華& 開源超高精度人臉對齊算 AB同時發(fā)布含10000張人臉的多屬性人臉關(guān)鍵點數(shù)據(jù)集該算法來自CVPR2018 Look at Boundary: A Boundary-Aware Face Alignment Algorithm人臉的邊緣信息和人臉關(guān)鍵點有很明顯的重要關(guān)系，而以往的人臉對齊（Face Alignment） 算法并沒有很好的利用邊緣信息，本文提出一種基于邊緣感知的人臉關(guān)鍵點檢測算法，將人臉 邊緣線所描述的結(jié)構(gòu)信息融入到關(guān)鍵點檢測中，極大地提升了算

2、法在大側(cè)臉、夸張表情、遮 擋、模糊等 情況下的檢測精度。倍速00:00/00:00Phil elson - Putter Face Alignment 用騰訊1/72018/8/8我愛計算機視覺文章主要解決了兩大問題：1. 人臉關(guān)鍵點在各個數(shù)據(jù)集間歧義性，定義不一致問題。文章通過捕捉對于人臉更通用的邊緣線信息， 將其作為人臉到關(guān)鍵點的中間媒介，使得不同數(shù)據(jù)集即使存在關(guān)鍵點差異，仍然可以相互輔助訓練。2. 復(fù)雜情況下關(guān)鍵點檢測精度問題。本文首先通過消息傳遞結(jié)合對抗學習得到高精度的邊緣線檢測結(jié)果，再將邊緣線信息多語義層次地融合到關(guān)鍵點檢測中，使得算法在復(fù)雜情況下的魯棒性大幅提升。 另外， 文章還提

3、出了新的人臉關(guān)鍵點檢測數(shù)據(jù)集Wider Facial Landmarks in-the-wild (WFLW)，包含10,000張帶有98個關(guān)鍵點和6個人臉屬性標注的人臉圖像數(shù)據(jù)，包括 ，表情，照明，化妝，遮擋和模糊的變換，旨在幫助學界更有 性的評估關(guān)鍵點算法在各種條件 下的魯棒性。本文的邊緣感知的人臉關(guān)鍵點檢測算法在300-W Fullset上實現(xiàn)了3.49的平均誤差，其大大優(yōu)于state-of-the-art方法。利用在一個數(shù)據(jù)集上訓練出來的邊緣信息，可以非常簡單的用于 其他數(shù)據(jù)庫上的訓練 。 結(jié)合300-W數(shù)據(jù)集的邊界信息，本文方法在COFW數(shù)據(jù)集實現(xiàn)了3.92的平均誤差（0.39% f

4、ailure rate ），而在AFLW-Full數(shù)據(jù)集的平均誤差為1.25。下圖展示了使用本文的邊緣信息建模方法，在三個數(shù)據(jù)庫上的關(guān)鍵點 任務(wù)性能提升應(yīng)用。第一列是來自不同數(shù)據(jù)庫的人臉圖像，第二列是使用本文算法得到的邊緣信息圖，第三列展示 了使用提取的邊緣信息跨庫融合增強了關(guān)鍵點 能力。2/72018/8/8邊緣感知人臉對齊算法概述我愛計算機視覺（ 查看大圖）Boundary-Aware Face Alignment框架（a）基于hourglass網(wǎng)絡(luò)的邊緣熱圖估計器（Boundary heatmap estimator），用于估計邊緣熱圖。 引入消息傳遞層以處理遮擋。（b）邊緣感知關(guān)鍵點回

5、歸器（Boundary-aware landmarks regressor）用于生成關(guān)鍵點的最終 。 引入邊緣熱圖融合方案，將邊緣信息納入回歸問題的特征學習中。（c）引入對抗學習，邊緣有效性鑒別器（Boundary effectiveness discriminator）區(qū)分“ 真 實”邊緣熱圖與“ 邊緣熱圖，用于進一步 估計的邊界熱圖的質(zhì)量。在關(guān)鍵點回歸過程中，邊緣熱圖信息更像是一種可以跨庫提取的通用特征！WFLW人臉庫作者提出的Wider Facial Landmarks in-the-wild (WFLW) 人臉關(guān)鍵點庫，包含10000個人臉，98個關(guān)鍵點，7500個用于訓練，2500個

6、用于測試。該庫最大的特點是，同時標注了人臉 的屬性信息，即遮擋， ，化妝，光照，模糊和表情，可以非常容易的 算法在某一類人臉上的性能評估。3/72018/8/8我愛計算機視覺性能評估4/72018/8/8我愛計算機視覺在300-W庫上的性能評估結(jié)果，大幅超過了所有主流方法。在WFLW庫上的性能評估結(jié)果，同樣大幅超過了所有主流方法。為驗證邊緣信息在特征點檢測上的通用有效性，作者將300-W上提取的邊緣熱圖信息直接用于COFW-29和AFLW庫上，請注意他們原始標注的點數(shù)是不同的，以往這樣的庫是難以統(tǒng)一利5/72018/8/8用起來的。我愛計算機視覺在COFW-29和AFLW庫上的性能評估結(jié)果，同樣超過了所有主流方法。在COFW-68 testset上的CED曲線，精度優(yōu)勢異常明顯！運行速度60ms on TITAN X GPU。6/72018/8/8我愛計算機視覺本文對人臉邊緣信息進行建模，融入特征點檢測算法中，取得了異常明顯的性能提升。能否把 這樣的信息用于人臉識別等其他任務(wù)中呢？期待有 有趣的技術(shù)被發(fā)明出來。代碼主頁：在“我愛計算機視覺” 云 地址。回復(fù)lab，可以收到該算法 、代碼和WFLW數(shù)據(jù)庫的點擊閱讀原文