目標(biāo)檢測(cè)與分割4212017算法詳解csdn

1、2018/8/19YOLO v2算法詳解 - CSDN博客YOLO v2算法詳解2017年09月13日 08:25:01閱讀數(shù)：7643論文： YOLO9000：Better，F(xiàn)aster，Stronger論文鏈接：/abs/1612.08242YOLO9000是CVPR2017的最佳論文提名。首先講一下這篇文章一共介紹了YOLO v2和YOLO9000 兩個(gè)模型，二者略有不同。前者主要是YOLO的升級(jí)版（關(guān)于YOLO v1的介紹可以參考：YOLO v1 算法詳解），后者的主要檢測(cè)網(wǎng)絡(luò)也是YOLO v2，同時(shí)對(duì)數(shù)據(jù)集做了融合，使得模型可以檢測(cè)9000 多類物體。

2、而提出YOLO9000的原因主要是目前檢測(cè)的數(shù)據(jù)集數(shù)據(jù)量較小，因此利用數(shù)量較大的分類數(shù)據(jù)集來(lái)幫助訓(xùn)練檢測(cè)模型。接下來(lái)基本上按照文章的順序來(lái)解讀一下算法，這樣讀起來(lái)也比較清晰。主要包括三個(gè)部分：Bette r，F(xiàn)aster，Stronger，其中前面兩部分基本上講的是YOLO v2，最后一部分講的是YOLO9000。Better這部分細(xì)節(jié)很多，想要詳細(xì)了解的話建議還是看源碼。很明顯，本篇論文是YOLO作者為了改進(jìn)原有的YOLO算法所寫的。YOLO有兩個(gè)缺點(diǎn)：一個(gè)缺點(diǎn)在 于定位不準(zhǔn)確，另一個(gè)缺點(diǎn)在于和基于region proposal的方法相比召回率較低。因此YOLOv2主要是要在這兩方面做提升。

3、另外YOLOv2并不是通過(guò)加深或加寬網(wǎng)絡(luò)達(dá)到效果提升，反而是簡(jiǎn)化了網(wǎng)絡(luò)。大概看一下YOLOv2的表現(xiàn)：YOLOv2算法在VOC 2007數(shù)據(jù)集上的表現(xiàn)為67 FPS時(shí)，MAP為7 6.8，在40FPS時(shí)，MAP為78.6.1、Batch NormalizationBN（Batch Normalization）層簡(jiǎn)單講就是對(duì)網(wǎng)絡(luò)的每一層的輸入都做了歸一化，這樣網(wǎng)絡(luò)就不需要每層都去學(xué)數(shù)據(jù)的分布，收斂會(huì)快點(diǎn)。原來(lái)的YOLO算法（采用的是GoogleNet網(wǎng)絡(luò)提取特征）是沒(méi) 有BN層的，因此在YOLOv2中作者為每個(gè)卷積層都添加了BN層。另外由于BN可以規(guī)范模型，所以本文加入BN后就把dropout去

4、掉了。實(shí)驗(yàn)證明添加了BN層可以提高2%的mAP。2、High Resolution Classifier首先f(wàn)ine-tuning的作用不言而喻，現(xiàn)在基本跑個(gè)classification或detection的模型都不會(huì)從隨機(jī)初始化 所有參數(shù)開(kāi)始，所以一般都是用預(yù)訓(xùn)練的網(wǎng)絡(luò)來(lái)finetuning自己的網(wǎng)絡(luò)，而且預(yù)訓(xùn)練的網(wǎng)絡(luò)基本上都 是在ImageNet數(shù)據(jù)集上跑的，一方面數(shù)據(jù)量大，另一方面訓(xùn)練時(shí)間久，而且這樣的網(wǎng)絡(luò)都可以在相 應(yīng)的github上找到。原來(lái)的YOLO網(wǎng)絡(luò)在預(yù)訓(xùn)練的時(shí)候采用的是224*224的輸入（這是因?yàn)橐话泐A(yù)訓(xùn)練的分類模型都是在ImageNet數(shù)據(jù)集上進(jìn)行的），然后在detect

5、ion的時(shí)候采用448*448的輸入，這會(huì)導(dǎo)致從分類模型切 換到檢測(cè)模型的時(shí)候，模型還要適應(yīng)圖像分辨率的改變。而YOLOv2則將預(yù)訓(xùn)練分成兩步：先用224*224的輸入從頭開(kāi)始訓(xùn)練網(wǎng)絡(luò)，大概160個(gè)epoch（表示將所有訓(xùn)練數(shù)據(jù)循環(huán)跑160次），然后再將 輸入調(diào)整到448*448，再訓(xùn)練10個(gè)epoch。注意這兩步都是在ImageNet數(shù)據(jù)集上操作。最后再在檢1/112018/8/19YOLO v2算法詳解 - CSDN博客測(cè)的數(shù)據(jù)集上fine-tuning，也就是detection的時(shí)候用448*448的圖像作為輸入就可以順利過(guò)渡了。作者的實(shí)驗(yàn)表明這樣可以提高幾乎4%的MAP。3、Convo

6、lutional With Anchor Boxes原來(lái)的YOLO是利用全連接層直接bounding box的坐標(biāo)，而YOLOv2借鑒了Faster R-的思想，引入anchor。首先將原網(wǎng)絡(luò)的全連接層和最后一個(gè)pooling層去掉，使得最后的卷積層可以有更高分辨率的特征；然后縮減網(wǎng)絡(luò)，用416*416大小的輸入代替原來(lái)448*448。這樣做的在望得到的特征圖都有奇數(shù)大小的寬和高，奇數(shù)大小的寬和高會(huì)使得每個(gè)特征圖在劃分cell的時(shí)候就只有一個(gè)center cell（比如可以劃分成7*7或9*9個(gè)cell，center cell只有一個(gè)，如果劃分成8*8或10*10 的，center cell就

7、有4個(gè)）。為什么希望只有一個(gè)center cell呢？因?yàn)榇蟮膐bject一般會(huì)占據(jù)圖像的中心，所以希望用一個(gè)center cell去，而不是4個(gè)center cell去。網(wǎng)絡(luò)最終將416*416的輸入變成13*13大小的feature map輸出，也就是縮小比例為32。我們知道原來(lái)的YOLO算法將輸入圖像分成7*7的網(wǎng)格，每個(gè)網(wǎng)格兩個(gè)bounding box，因此一共只有98個(gè)box，但是在YOLOv2通過(guò)引入anchor boxes，的box數(shù)量超過(guò)了1千（以輸出featuremap大小為13*13為例，每個(gè)grid cell有9個(gè)anchor box的話，一共就是13*13*9=1521

8、個(gè)，當(dāng)然由后面第4點(diǎn)可知，最終每個(gè)grid cell選擇5個(gè)anchor box）。順便提一下在Faster R在輸入大小為1000*600時(shí)的boxes數(shù)量大概是6000，在SSD300中boxes數(shù)量是8732。顯然增加box數(shù)量是為了提高object的準(zhǔn)確率。作者的實(shí)驗(yàn)證明：雖然加入anchor使得MAP值下降了一點(diǎn)（69.5降到69.2），但是提高了recall（8 1%提高到88%）。4、Dimension Clusters我們知道在Faster R-中anchor box的大小和比例是按經(jīng)驗(yàn)設(shè)定的，然后網(wǎng)絡(luò)會(huì)在訓(xùn)練過(guò)程中調(diào)整anchor box的。但是如果一開(kāi)始就能選擇到合適的an

9、chor box，那肯定可以幫助網(wǎng)絡(luò)越好地detection。所以作者采用k-means的方式對(duì)訓(xùn)練集的bounding boxes做聚類，試圖找到合適的anchor box。另外作者發(fā)現(xiàn)如果采用標(biāo)準(zhǔn)的k-means（即用歐式距離來(lái)衡量差異），在box的比較大的時(shí)候其誤差也更大，而我們希望的是誤差和box的數(shù)，使得誤差和box的大小無(wú)關(guān)：沒(méi)有太大關(guān)系。所以通過(guò)IOU定義了如下的距離函如下圖Figure2，左邊是聚類的簇個(gè)數(shù)核IOU的關(guān)系，兩條曲線分別代表兩個(gè)不同的數(shù)據(jù)集。在分析了聚類的結(jié)果并平衡了模型復(fù)雜度與recall值，作者選擇了K=5，這也就是Figure2中右邊的示意圖是選出來(lái)的5個(gè)b

10、ox的大小，這里紫色和黑色也是分別表示兩個(gè)不同的數(shù)據(jù)集，可以看出其基本形狀是類似的。而且發(fā)現(xiàn)聚類的結(jié)果和手動(dòng)設(shè)置的anchor box大小差別顯著。聚類的結(jié)果中多是高瘦的bo x，而矮胖的box數(shù)量較少。2/112018/8/19YOLO v2算法詳解 - CSDN博客這里寫圖片描述Table1中作者采用的5種anchor（Cluster IOU）的Avg IOU是61，而采用9種Anchor Boxes的Faster的Avg IOU是60.9，也就是說(shuō)本文僅選取5種box就能達(dá)到Faster R的9中box的效果。R5、Direct Location prediction作者在引入ancho

11、r box的時(shí)候遇到的第二個(gè)問(wèn)題：模型不穩(wěn)定，尤其是在訓(xùn)練剛開(kāi)始的時(shí)候。作者認(rèn)為這種不穩(wěn)定主要來(lái)自box的(x,y)值。我們知道在基于region proposal的object detection算法中，是通過(guò)下圖中的tx和ty來(lái)得到(x,y)值，也就是的是offset。另外關(guān)于文中的這個(gè)公式，個(gè)人認(rèn)為應(yīng)該把后面的減號(hào)改成加號(hào)，這樣才能符合公式下面的example。這里xa和ya是anchor的坐標(biāo)，wa和ha是anchor的size，x和y是坐標(biāo)的值，tx和ty是偏移量。文中還特地舉了一個(gè)例子：A prediction of tx = 1 would shift the box to th

12、e right by the width of the anchor box, a prediction of tx = -1 would shift it to the left by the same amount.這里貼一下Faster R-里面的公式，和上面這個(gè)公式將減號(hào)變成加號(hào)是一致的。3/112018/8/19YOLO v2算法詳解 - CSDN博客這里寫圖片描述在這里作者并沒(méi)有采用直接坐標(biāo)位置的方式。offset的方法，還是沿用了YOLO算法中直接相對(duì)于grid cell的前面提到網(wǎng)絡(luò)在最后一個(gè)卷積層輸出13*13大小的feature map，然后每個(gè)cell5個(gè)bounding

13、 box，然后每個(gè)bounding box5個(gè)值：tx，ty，tw，th和to（這里的to類似YOLOv1中的confidence）?？聪聢D，tx和ty經(jīng)過(guò)sigmoid函數(shù)處理后范圍在0到1之間，這樣的歸一化處理也使得模型訓(xùn)練更加穩(wěn)定；cx和cy表示一個(gè)cell和圖像左上角的橫縱距離；pw和ph表示bounding box的寬高，這樣bx和by就是cx和cy這個(gè)cell附近的anchor來(lái)tx和ty得到的結(jié)果。如果對(duì)上面的公式不理解，可以看Figure3，首先是cx和cy，表示grid cell與圖像左上角的橫縱坐標(biāo)距離，黑色虛線框是bounding box，矩形框就是的結(jié)果。這里寫圖片描述

14、6、Fine-Grained Features這里主要是添加了一個(gè)層：passthrough layer。這個(gè)層的作用就是將前面一層的26*26的feature map和本層的13*13的feature map進(jìn)行連接，有點(diǎn)像ResNet。這樣做的在于雖然13*13的feature map對(duì)于大的object以及足夠了，但是對(duì)于小的object就不一定有效。也容易理解，越小的object，經(jīng)過(guò)層層卷積和pooling，可能到最后都不見(jiàn)了，所以通過(guò)合并前一層的size大一點(diǎn)的feature m ap，可以有效檢測(cè)小的object。7、Multi-Scale Training為了讓YOLOv2模型

15、更加robust，作者引入了Muinti-Scale Training，簡(jiǎn)單講就是在訓(xùn)練時(shí)輸入圖像4/112018/8/19YOLO v2算法詳解 - CSDN博客的size是動(dòng)態(tài)變化的，注意這一步是在檢測(cè)數(shù)據(jù)集上fine tune時(shí)候采用的，不要跟前面在Imagenet數(shù)據(jù)集上的兩步預(yù)訓(xùn)練分類模型，本文細(xì)節(jié)確實(shí)很多。具體來(lái)講，在訓(xùn)練網(wǎng)絡(luò)時(shí)，每訓(xùn)練10個(gè)batch（文中是10個(gè)batch，個(gè)人認(rèn)為會(huì)是筆誤，不應(yīng)該是10個(gè)epoch？），網(wǎng)絡(luò)就會(huì)隨機(jī)選擇另一種size的輸入。那么輸入圖像的size的變化范圍要怎么定呢？前面我們知道本文網(wǎng)絡(luò)本來(lái)的輸入是416*416，最后會(huì)輸出13*13的feat

16、ure map，也就是說(shuō)downsample的factor是32，因此作者采用32的倍數(shù)作為輸入的size，具體來(lái)講文中作者采用從320,352,608的輸入。這種網(wǎng)絡(luò)訓(xùn)練方式使得相同網(wǎng)絡(luò)可以對(duì)不同分辨率的圖像做detection。雖然在輸入size較大時(shí)，訓(xùn)練速度較慢，但同時(shí)在輸入size較小時(shí)，訓(xùn)練速度較快，而multi-scale training又可以提高準(zhǔn)確率， 因此算是準(zhǔn)確率和速度都取得一個(gè)不錯(cuò)的平衡。Table3就是在檢測(cè)時(shí)，不同輸入size情況下的YOLOv2和其他object detection算法的對(duì)比?？梢钥闯鐾ㄟ^(guò)multi-scale training的檢測(cè)模型，在測(cè)試

17、的時(shí)候，輸入圖像在變化范圍較大的情況下也能取得mAP和FPS的平衡。不過(guò)同時(shí)也可以看出SSD算法的表現(xiàn)也十分搶眼。總的看下這些技巧對(duì)mAP的貢獻(xiàn)：5/112018/8/19YOLO v2算法詳解 - CSDN博客High Resolution Classifier的提升非常明顯（近4%），另外通過(guò)結(jié)合dimension prior+localtion prediction這兩種方式引入anchor也能帶來(lái)近5%mAP的提升。Faster在YOLO v1中，作者采用的訓(xùn)練網(wǎng)絡(luò)是基于GooleNet，這里作者將GooleNet和VGG16做了簡(jiǎn)單的對(duì)比，GooleNet在計(jì)算復(fù)雜度上要優(yōu)于VGG1

18、6（8.25 billion operation VS 30.69 billion operatio n），但是前者在ImageNet上的top-5準(zhǔn)確率要稍低于后者（88% VS 90%）。而在YOLO v2中，作者采用了新的分類模型作為基礎(chǔ)網(wǎng)絡(luò)，那就是Darknet-19。1、Darknet-19Table6是最后的網(wǎng)絡(luò)結(jié)構(gòu)：Darknet-19只需要5.58 billion operation。這個(gè)網(wǎng)絡(luò)包含19個(gè)卷積層和5個(gè)max pooling層，而在YOLO v1中采用的GooleNet，包含24個(gè)卷積層和2個(gè)全連接層，因此Darknet-19整體上卷積卷積操作比YOLO v1中用的

19、Net要少，這是計(jì)算量減少的關(guān)鍵。最后用average pooling層代替全連接層進(jìn)行。這個(gè)網(wǎng)絡(luò)在ImageNet上取得了top-5的91.2%的準(zhǔn)確率。6/112018/8/19YOLO v2算法詳解 - CSDN博客2、Training for Classification這里的2和3部分在前面有提到，就是訓(xùn)練處理的小trick。這里的training for classification都是在Ima geNet上進(jìn)行預(yù)訓(xùn)練，主要分兩步：1、從頭開(kāi)始訓(xùn)練Darknet-19，數(shù)據(jù)集是ImageNet，訓(xùn)練160個(gè)e poch，輸入圖像的大小是224*224，初始學(xué)習(xí)率為0.1。另外在訓(xùn)練

20、的時(shí)候采用了標(biāo)準(zhǔn)的數(shù)據(jù)增加方式比如隨機(jī)裁剪，旋轉(zhuǎn)以及色度，亮度的調(diào)整等。2、再fine-tuning 網(wǎng)絡(luò)，這時(shí)候采用448*448的輸入，參數(shù)的除了epoch和learning rate改變外，其他都沒(méi)變，這里learning rate改為0.001，并訓(xùn)練10 個(gè)epoch。結(jié)果表明fine-tuning后的top-1準(zhǔn)確率為76.5%，top-5準(zhǔn)確率為93.3%，而如果按照原來(lái)的訓(xùn)練方式，Darknet-19的top-1準(zhǔn)確率是72.9%，top-5準(zhǔn)確率為91.2%。因此可以看出第1,2兩步分別從網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方式兩方面入手提高了主網(wǎng)絡(luò)的分類準(zhǔn)確率。3、Training for De

21、tection在前面第2步之后，就開(kāi)始把網(wǎng)絡(luò)移植到detection，并開(kāi)始基于檢測(cè)的數(shù)據(jù)再進(jìn)行fine-tuning。首先把最后一個(gè)卷積層去掉，然后添加3個(gè)3*3的卷積層，每個(gè)卷積層有1024個(gè)filter，而且每個(gè)后面接一個(gè)1*1的卷積層，1*1卷積的filter個(gè)數(shù)根據(jù)需要檢測(cè)的類來(lái)定。比如對(duì)于VOC數(shù)據(jù)，由于每個(gè)grid cell我們需要5個(gè)box，每個(gè)box有5個(gè)坐標(biāo)值和20個(gè)類別值，所以每個(gè)grid cell有125個(gè)filter（與YOLOv1不同，在YOLOv1中每個(gè)grid cell有30個(gè)filter，還記得那個(gè)7*7*30的矩陣嗎，而且在YOL7/112018/8/19O

22、v1中，類別概率是由grid cell來(lái)YOLO v2算法詳解 - CSDN博客的，也就是說(shuō)一個(gè)grid cell對(duì)應(yīng)的兩個(gè)box的類別概率是一樣的，但是在YOLOv2中，類別概率是屬于box的，每個(gè)box對(duì)應(yīng)一個(gè)類別概率，而不是由grid cell決定，因此這邊每個(gè)box對(duì)應(yīng)25個(gè)值（5個(gè)坐標(biāo)加20個(gè)類別值），而在YOLOv1中一個(gè)grid cell的兩個(gè)box的20個(gè)類別值是一樣的）。另外作者還提到將最后一個(gè)3*3*512的卷積層和倒數(shù)第二個(gè)卷積層相連。最后作者在檢測(cè)數(shù)據(jù)集上fine tune這個(gè)預(yù)訓(xùn)練模型160個(gè)epoch，學(xué)習(xí)率采用0.001，并且在第60和90epoch的時(shí)候?qū)W(xué)習(xí)率

23、除以10，weight decay采用0.0005。Stronger這部分看得不是很懂，簡(jiǎn)單介紹，歡迎指正。帶標(biāo)注的檢測(cè)數(shù)據(jù)集量比較少，而帶標(biāo)注的分類數(shù)據(jù)集量比較大，因此YOLO9000主要通過(guò)結(jié)合分類和檢測(cè)數(shù)據(jù)集使得訓(xùn)練得到的檢測(cè)模型可以檢測(cè)約9 000類物體，那么這是怎么做到的呢？一方面要構(gòu)造數(shù)據(jù)集，另一方面要解決模型訓(xùn)練問(wèn)題，前者采用WordTree解決，后者采用Joint classification and detection。先來(lái)介紹下怎么做據(jù)集的融合，我們知道分類和檢測(cè)數(shù)據(jù)集存在較大差別：Detection datasets haveonly common objects and

24、 general labels, like “dog” or “boat”. Classification datasets have a much wider and deeper range of labels. ImageNet has more than a hundred breeds of dog, including “Norfolk terrier”, “Yorkshire terrier”, and “Bedlington terrier”.ImageNet的來(lái)自WordNet，這種結(jié)構(gòu)不是tree，舉個(gè)例子，狗這個(gè)label即屬于犬科也屬于家畜，這就很復(fù)雜了，完全是個(gè)圖結(jié)構(gòu)

25、，因此作者采用WordTree來(lái)解決分類和檢測(cè)數(shù)據(jù)集的 題，也就是說(shuō)在這個(gè)樹(shù)里面任意一個(gè)節(jié)點(diǎn)只能屬于唯一一個(gè)節(jié)點(diǎn)（跟WordNet是有區(qū)別的）。問(wèn)這樣的話，在WordTree的某個(gè)節(jié)點(diǎn)上就可以計(jì)算該節(jié)點(diǎn)的一些條件概率值，比如在terrier這個(gè)節(jié)點(diǎn)，可以得到如下條件概率值：如果要式：一個(gè)節(jié)點(diǎn)的概率，可以根據(jù)WordTree將該節(jié)點(diǎn)到根節(jié)點(diǎn)的條件概率依次相乘得到，如下8/112018/8/19另外：YOLO v2算法詳解 - CSDN博客按照這種方式，就可以得到Figure5，也就是在Imagenet1k數(shù)據(jù)集上采用WordTree方式得到的類別（主要是增加了369個(gè)中間節(jié)點(diǎn)，比如dog等）。然后作者分別在Figure5的兩個(gè)數(shù)據(jù)集上用相同訓(xùn)練方法訓(xùn)練Darknet-19模型，最后在Imagenet1k數(shù)據(jù)集上的top-1 accuracy為72.9%，top-5 accuracy 為91.2%；在WordTree1k數(shù)據(jù)集上的top-1 accuracy為71.9%，top-5 accuracy為90.4%。在WordTr ee1k數(shù)據(jù)集上的準(zhǔn)確率要稍低一點(diǎn)，主要是因?yàn)槟切┬碌念悇e的影響。介紹完了WordTree的原理，就可以用WordTree來(lái)融合分類和檢測(cè)的數(shù)