bnbatch normaliz原理與使用過程詳解VIP

1、BN(Batch Normalization) 原理與使用過程詳解2018 年 08 月 20 日 15:47:07 donkey_1993 閱讀數(shù)：7742名字：Batch Normalization: Accelerating Deep Network Trainingby Reducing Internal Covariate Shift地址：BN 被廣泛應(yīng)用于深度學(xué)習(xí)的各個(gè)地方，由于在實(shí)習(xí)過程中需要修改網(wǎng)絡(luò)，修改的網(wǎng)絡(luò)在訓(xùn)練過程中無法收斂，就添加了 BN 層進(jìn)去來替換掉 LRN 層，網(wǎng)絡(luò)可以收斂。現(xiàn)在就講一下 Batch Normalization 的工作原理。BN 層和卷積層，池化層

2、一樣都是一個(gè)網(wǎng)絡(luò)層。首先我們根據(jù)來介紹一下 BN 層的優(yōu)點(diǎn)。1）加快訓(xùn)練速度，這樣我們就可以使用較大的學(xué)習(xí)率來訓(xùn)練網(wǎng)絡(luò)。2）提高網(wǎng)絡(luò)的泛化能力。3）BN 層本質(zhì)上是一個(gè)歸一化網(wǎng)絡(luò)層，可以替代局部響應(yīng)歸一化層（LRN 層）。4）可以打亂樣本訓(xùn)練順序（這樣就不可能出現(xiàn)同一張被多次選擇用來訓(xùn)練）中提到可以提高 1%的精度。下面我們就講一下 BN 層是如何實(shí)現(xiàn)的：從中給出的偽代碼可以看出來 BN 層的計(jì)算流程是：1.計(jì)算樣本均值。2.計(jì)算樣本方差。3.樣本數(shù)據(jù)標(biāo)準(zhǔn)化處理。4.進(jìn)行平移和縮放處理。引入了和兩個(gè)參數(shù)。來訓(xùn)練和兩個(gè)參數(shù)。引入了這個(gè)可學(xué)習(xí)重構(gòu)參數(shù)、，讓我們的網(wǎng)絡(luò)可以學(xué)習(xí)恢復(fù)出原始網(wǎng)絡(luò)所要學(xué)習(xí)的

3、特征分布。下面我們討論一下樣本是如何得到的？Batch Normalization 顧名思義，mini-batch 就是我們每次訓(xùn)練的 Batch_size。從上圖卷積過程可以得出一張 5*5 的圖片經(jīng)過卷積核 3*3 的卷積之后得到一張3*3 的特征圖。特征圖就會包含了 9 個(gè)特征值，這 9 個(gè)特征值就是我們上面所提到的樣本。假設(shè)我們的 batch-size 設(shè)為 m，那么就會有 m*9 個(gè)特征值傳到 BN層里面作為樣本來訓(xùn)練參數(shù)和。在網(wǎng)絡(luò)訓(xùn)練中以 batch-size 作為最小來不斷迭代。每當(dāng)有新的 batch-size進(jìn)入到網(wǎng)絡(luò)里面就會產(chǎn)生新的和。也就是說我們訓(xùn)練過程中要生成 圖片總量/

4、batch-size 組參數(shù)。圖像卷積的過程中，通常是使用多個(gè)卷積核，得到多張?zhí)卣鲌D，對于多個(gè)的卷積核需要保存多個(gè)的與。BN 層的整體流程如下圖：輸入：待進(jìn)入激活函數(shù)的變量輸出：1.這里的 K，在卷積網(wǎng)絡(luò)中可以看作是卷積核個(gè)數(shù)，如網(wǎng)絡(luò)中第 n 層個(gè)卷積核，就需要計(jì)算 64 次。需要注意，在正向時(shí)，會使用與使得BN 層輸出與輸入一樣。2.在反向時(shí)利用與求得梯度從而改變訓(xùn)練權(quán)值（變量）。3.通過不斷迭代直到訓(xùn)練結(jié)束，求得關(guān)于不同層的與。4.不斷遍歷訓(xùn)練集中的圖片，取出每個(gè) batch_size 中的與，最后統(tǒng)計(jì)每層 BN的與各自的和除以圖片數(shù)量得到平均直，并對其做無偏估計(jì)直作為每一層的 Ex與 Varx。5.在的正向時(shí)，對測試數(shù)據(jù)求取與，并使用該層的 Ex與 Varx，通過圖中 11:所表示的公式計(jì)算 BN 層輸出。注意，在時(shí)，BN 層的輸出已經(jīng)被改變，所以 BN 層在的作用體現(xiàn)在此處。參考文獻(xiàn)：Batch Normalization: A