深度學(xué)習(xí)與信號(hào)處理：原理與實(shí)踐 課件 第5-7章 小波神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、生成生成對(duì)抗網(wǎng)絡(luò)

PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

5.1小波理論5.2小波神經(jīng)網(wǎng)絡(luò)5.3小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)5.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法第五章小波神經(jīng)網(wǎng)絡(luò)225.1小波理論小波分析是在短時(shí)傅里葉變換的基礎(chǔ)上發(fā)展起來(lái)的一種具有多分辨率分析特點(diǎn)的時(shí)頻分析方法。通過(guò)小波分析，可以將各種交織在一起的由不同頻率組成的混合信號(hào)分解成不同頻率的塊信號(hào)，能夠有效解決諸如噪音分離、編碼解碼、數(shù)據(jù)壓縮、模式識(shí)別、非線性化問(wèn)題線性化、非平穩(wěn)過(guò)程平穩(wěn)化等問(wèn)題。也正是因?yàn)槿绱?，小波分析在水聲信道盲均衡中有?yīng)用景。335.1小波理論5.1.1小波變換1.連續(xù)性小波變換小波是函數(shù)空間中滿足的一個(gè)函數(shù)或者信號(hào)，也稱為基本小波或母小波函數(shù)，而上式也稱為小波函數(shù)的可容許條件。將進(jìn)行伸縮和平移，就可得到函數(shù)，式中，為分析小波或連續(xù)小波，為伸縮因子(尺度參數(shù))且，為平移因子(位移參數(shù))，二者都是連續(xù)變化的值。將空間中的任意信號(hào)在小波基函數(shù)下展開，這種展開稱為信號(hào)的連續(xù)小波變換(ContinueWaveletTransform，CWT)，其表達(dá)式為等效的頻域表示為式中，、分別為、的傅里葉變換，“*”表示復(fù)共軛，稱為小波變換系數(shù)?？梢宰C明，若采用的小波滿足容許條件，則連續(xù)小波變換存在著逆變換，逆變換公式為

445.1小波理論5.1.1小波變換1.連續(xù)性小波變換由于母小波函數(shù)及其傅里葉變換都是窗函數(shù)，設(shè)其窗口中心分別為、，窗口半徑分別為、。由于是一個(gè)窗函數(shù)，經(jīng)伸縮和平移后小波基函數(shù)也是一個(gè)窗函數(shù)，其窗口中心為，窗口半徑為

，給出了信號(hào)在一個(gè)“時(shí)間窗”內(nèi)的局部信息，其窗口中心為，窗口寬度為2，即小波變換具有“時(shí)間局部化”。令，則也是一個(gè)窗函數(shù)，其窗口中心為0，半徑為。由Parseval恒等式，可得積分小波變換為因?yàn)轱@然，是一個(gè)窗口中心在，窗口半徑為的窗函數(shù)。除了具有一個(gè)倍數(shù)與線性相位位移之外，還給出了信號(hào)的頻譜在“頻率窗”內(nèi)的局部信息，其窗口中心在，窗口寬度為，即小波變換具有“頻率局部化”。555.1小波理論5.1.1小波變換1.連續(xù)性小波變換綜上可知，給出了信號(hào)在時(shí)間-頻率平面(平面)中一個(gè)矩形的時(shí)間-頻率窗上的局部信息，即小波變換具有時(shí)-頻局部化特性。此外，時(shí)間寬度×頻率寬度=。即時(shí)間-頻率窗的“窗口面積”是恒定的，而與時(shí)間和頻率無(wú)關(guān)。上述時(shí)間-頻率窗公式的重要性是，當(dāng)檢測(cè)高頻信息時(shí)(即對(duì)于小的)，時(shí)間窗會(huì)自動(dòng)變窄；而當(dāng)檢測(cè)低頻信息時(shí)(即對(duì)于大的)，時(shí)間窗會(huì)自動(dòng)變寬。而窗的面積是固定不變的，如下圖所示。下圖表明，“扁平”狀的時(shí)-頻窗是符合信號(hào)低頻成分的局部時(shí)-頻特性的，而“瘦窄”狀的時(shí)-頻窗是符合信號(hào)高頻成分的局部時(shí)-頻特性的。665.1小波理論5.1.1小波變換2.離散小波變換在信號(hào)處理中，特別是在數(shù)字信號(hào)處理和數(shù)值計(jì)算等方面，為了計(jì)算機(jī)實(shí)現(xiàn)的方便，連續(xù)小波必須進(jìn)行離散化，通常的方法是將中的參數(shù)、都取離散值，取,,，固定尺度參數(shù)，位移參數(shù)，從而把連續(xù)小波變成離散小波，即

改成=，

。離散小波變換為，。式中，待分析信號(hào)和分析小波中的時(shí)間變量并沒(méi)有被離散化，所以也稱此變換為離散，柵格下的小波變換。通常取，，則有與之對(duì)應(yīng)的小波變換稱為二進(jìn)小波變換，相應(yīng)的小波為二進(jìn)小波。775.1小波理論5.1.2多分辨率分析在多分辨分析是構(gòu)造小波基函數(shù)的理論基礎(chǔ)，也是Mallat信號(hào)分解與重構(gòu)塔形算法的基礎(chǔ)。其基本思想是把中的函數(shù)表示成一個(gè)逐級(jí)逼近的極限，每一個(gè)逼近都具有不同的分辨率和尺度，因此稱為多分辨分析。設(shè)為空間中一列閉子空間列，如果滿足以下條件，則稱為多分辨率分析，又稱多尺度分析。

(1)一致單調(diào)性：(2)漸進(jìn)完全性：(3)伸縮規(guī)則性：(4)平移不變性：,對(duì)所有(5)Riesz基存在性：存在，使得構(gòu)成的Riesz基，其中，稱為尺度函數(shù)。885.1小波理論5.1.2多分辨率分析1.尺度函數(shù)與尺度空間由于，且構(gòu)成的一個(gè)Riesz基，則由多分辨分析定義，經(jīng)過(guò)伸縮和平移后的函數(shù)集合為

必構(gòu)成子空間的Riesz基。是尺度為平移為的尺度函數(shù)，是尺度為的尺度空間。995.1小波理論5.1.2多分辨率分析2.小波函數(shù)與小波空間定義為在中的直交補(bǔ)空間(又稱小波空間)，即式中，表示直和運(yùn)算。上式也可表示為。該式表明，小波空間是兩個(gè)相鄰尺度空間的差，即代表了空間與之間的細(xì)節(jié)信息，因此也稱小波空間為細(xì)節(jié)空間。若函數(shù)，且構(gòu)成的Riesz基，則稱為小波函數(shù)。顯然，此時(shí)有構(gòu)成的Riesz基。是尺度為平移為的小波函數(shù)，是尺度為的小波空間。如果，相應(yīng)的多分辨率分析稱為正交多分辨率分析。如果尺度函數(shù)滿足，即是一個(gè)正交基，則稱為正交尺度函數(shù)。由于，，因而有(當(dāng)且)，即對(duì)任意子空間與是相互正交的(空間不相交)，則。即構(gòu)成了的一系列正交子空間。如果小波函數(shù)，即構(gòu)成的一個(gè)正交基，則稱為正交小波函數(shù)。如果為正交小波函數(shù)，為正交尺度函數(shù)，則{，}構(gòu)成了一個(gè)正交小波系統(tǒng)。10105.1小波理論5.1.2多分辨率分析3.兩尺度方程由于，且是的一個(gè)正交基，所以，必存在唯一的序列，使得滿足的雙尺度方程為通常稱它為尺度方程。其中展開系數(shù)為，為低通濾波器系數(shù)，由尺度函數(shù)和小波函數(shù)決定的，與具體尺度無(wú)關(guān)。另外，由于小波函數(shù)，且為小波空間的一個(gè)正交基函數(shù)，所以，必存在唯一序列，使得滿足的雙尺度方程為上式稱之為構(gòu)造方程或小波方程。其中展開系數(shù)。是高通濾波器系數(shù)，也僅由尺度函數(shù)和小波函數(shù)決定的，與具體尺度無(wú)關(guān)。

{，}構(gòu)成了一個(gè)正交小波系統(tǒng)，可以從正交尺度函數(shù)構(gòu)造出正交小波函數(shù)，其方法是令。由于雙尺度方程是描述相鄰二尺度空間基函數(shù)之間的關(guān)系，所以稱之為二尺度方程，并且二尺度差分關(guān)系存在于任意兩個(gè)相鄰尺度和之間，則上述二尺度方程可寫為

11115.2小波神經(jīng)網(wǎng)絡(luò)小波神經(jīng)網(wǎng)絡(luò)根據(jù)小波分析方法與神經(jīng)網(wǎng)絡(luò)的結(jié)合方式可分為兩類：（1）前置小波神經(jīng)網(wǎng)絡(luò)。它是小波變換與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)合，主要通過(guò)小波分析方法對(duì)信號(hào)進(jìn)行特征提取、去除噪聲等處理，并將所得結(jié)果作為神經(jīng)網(wǎng)絡(luò)輸入從而實(shí)現(xiàn)函數(shù)逼近、模式識(shí)別等過(guò)程。稱這一類為混合型小波神經(jīng)網(wǎng)絡(luò)或前置小波神經(jīng)網(wǎng)絡(luò)。（2）嵌入小波神經(jīng)網(wǎng)絡(luò)。它是小波基函數(shù)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的緊密融合，主要包括小波基函數(shù)作隱含層激勵(lì)函數(shù)；根據(jù)多分辨分析建立相應(yīng)的隱含層結(jié)構(gòu)；通過(guò)自適應(yīng)小波的線性組合得到“疊加小波”，構(gòu)成能夠自適應(yīng)調(diào)節(jié)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)。這類小波神經(jīng)網(wǎng)絡(luò)也稱為融合型小波神經(jīng)網(wǎng)絡(luò)。它主要包括以小波函數(shù)為激勵(lì)函數(shù)的小波神經(jīng)網(wǎng)絡(luò)、以尺度函數(shù)為激勵(lì)函數(shù)的小波神經(jīng)網(wǎng)絡(luò)、多分辨小波神經(jīng)網(wǎng)絡(luò)以及自適應(yīng)型小波神經(jīng)網(wǎng)絡(luò)。本節(jié)將對(duì)混合型小波神經(jīng)網(wǎng)絡(luò)以及嵌入小波神經(jīng)網(wǎng)絡(luò)等模型進(jìn)行分析研究。12125.2小波神經(jīng)網(wǎng)絡(luò)5.2.1前置小波神經(jīng)網(wǎng)絡(luò)前置小波神經(jīng)網(wǎng)絡(luò)用小波基函數(shù)對(duì)信號(hào)特征提取、去除噪聲等預(yù)處理工作，如下圖所示。以離散輸入信號(hào)被分解為相對(duì)低頻的近似分量和高頻的細(xì)節(jié)分量，即尺度系數(shù)和小波系數(shù)。一方面，由于有效信號(hào)與噪聲信號(hào)在小波變換的各尺度上具有不同的傳播特性，因此，可通過(guò)模極大值法、閾值法等方法實(shí)現(xiàn)對(duì)信號(hào)去噪作用；另一方面，近似分量與細(xì)節(jié)分量分別包含原始信號(hào)的不同信息，對(duì)于信號(hào)分解的過(guò)程也是對(duì)信號(hào)進(jìn)行特征提取的過(guò)程。因此，通過(guò)小波逆變換過(guò)程可得到重構(gòu)的近似成分和細(xì)節(jié)成分，并將其部分作為原始信號(hào)的特征輸入至常規(guī)神經(jīng)網(wǎng)絡(luò)，進(jìn)一步實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)功能。13135.2小波神經(jīng)網(wǎng)絡(luò)5.2.1前置小波神經(jīng)網(wǎng)絡(luò)在上圖中，輸入信號(hào)經(jīng)過(guò)小波變換后就是神經(jīng)網(wǎng)絡(luò)的輸入信號(hào)，即，此時(shí)隱層的輸入、輸出修正為如果采用均方誤差函數(shù)定義損失函數(shù)，則。式中，表示目標(biāo)輸出。輸出層權(quán)值迭代公式為，而從而得到

式中同理可得，輸入層權(quán)值迭代公式為

式中

14145.2小波神經(jīng)網(wǎng)絡(luò)5.2.1前置小波神經(jīng)網(wǎng)絡(luò)由小波分析進(jìn)行信號(hào)處理的過(guò)程，如下圖所示。該過(guò)程包括Mallat算法、離散小波變換和離散小波逆變換的信號(hào)分解與重構(gòu)過(guò)程。圖中向上采樣與向下采樣算子與，相同。15155.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)嵌入小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。圖中，第一層為輸入層，輸入層輸入單元的數(shù)量取決于具體問(wèn)題的已知條件數(shù)目，設(shè)輸入層的輸入值

；第二層為隱含層，隱含層每一個(gè)節(jié)點(diǎn)與輸入層每一個(gè)連接節(jié)點(diǎn)之間都有連接關(guān)系，每一條連接關(guān)系在輸入層與輸出層間所占的權(quán)重依賴于網(wǎng)絡(luò)權(quán)值衡量。16165.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)設(shè)輸入層、隱含層、輸出層分別含有N，J，M個(gè)神經(jīng)元，，分別代表輸入數(shù)據(jù)與輸出數(shù)據(jù)，，分別表示輸入層隱含層權(quán)值與隱含層輸出層權(quán)值，

代表小波函數(shù)，而，分別代表小波函數(shù)的伸縮因子與平移因子。1）對(duì)于隱含層神經(jīng)元，其加權(quán)輸入用表示，其輸出用表示為2）對(duì)于輸出層神經(jīng)元，其加權(quán)輸入用表示，其輸出用表示為式中，為輸出層的激勵(lì)函數(shù)。17175.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)設(shè)負(fù)梯度算法基于誤差反傳思想，按照梯度下降方向調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)各項(xiàng)參數(shù)。自適應(yīng)型小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程如下：1）網(wǎng)絡(luò)輸出的均方誤差定義為，式中，為目標(biāo)輸出。2）網(wǎng)絡(luò)權(quán)重與小波系數(shù)的更新公式為式中，各參數(shù)按鏈?zhǔn)角髮?dǎo)法則進(jìn)行更新，即各偏微分計(jì)算式為

式中，代表小波函數(shù)的一階導(dǎo)數(shù)。18185.2小波神經(jīng)網(wǎng)絡(luò)5.2.2嵌入小波神經(jīng)網(wǎng)絡(luò)3）將偏微分計(jì)算代入鏈?zhǔn)角髮?dǎo)得到各參數(shù)更新值：4）進(jìn)一步地，上一系列式可改寫為其中，和表示等效誤差：基于上述一系列公式即可計(jì)算自適應(yīng)型小波神經(jīng)網(wǎng)絡(luò)的權(quán)值及小波系數(shù)，從而實(shí)現(xiàn)通過(guò)數(shù)據(jù)對(duì)小波神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的目的。19195.3小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)小波神經(jīng)網(wǎng)絡(luò)（WNN）自身有非線性擬合能力，其利用自身衍生于生物神經(jīng)的結(jié)構(gòu)與網(wǎng)絡(luò)參數(shù)調(diào)整，模擬網(wǎng)絡(luò)輸入值與輸出值之間的關(guān)系，并利用迭代調(diào)整自身的參數(shù)，當(dāng)WNN的迭代次數(shù)等于預(yù)設(shè)最大迭代值或網(wǎng)絡(luò)的誤差值小于或等于預(yù)設(shè)誤差值時(shí)，WNN結(jié)束訓(xùn)練工作，網(wǎng)絡(luò)訓(xùn)練步驟如下：步驟1：樣本預(yù)處理。將所有樣本值分為兩組，分別為訓(xùn)練樣本（包括訓(xùn)練輸入樣本與訓(xùn)練預(yù)期輸出樣本）與測(cè)試樣本（包括測(cè)試輸入樣本與測(cè)試預(yù)期輸出樣本）。訓(xùn)練樣本與測(cè)試樣本內(nèi)部數(shù)據(jù)不相同，訓(xùn)練樣本負(fù)責(zé)對(duì)WNN進(jìn)行訓(xùn)練，當(dāng)WNN訓(xùn)練結(jié)束后，由于測(cè)試樣本與訓(xùn)練樣本不相同，所以測(cè)試樣本可以驗(yàn)證訓(xùn)練后的小波神經(jīng)網(wǎng)絡(luò)模型的泛化能力。20205.3小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)步驟2：初始化。影響WNN收斂性能與泛化能力的兩個(gè)重要因素是小波神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與網(wǎng)絡(luò)參數(shù)是否適宜，初始化工作主要是確定WNN輸入層、隱含層、輸出層每層的節(jié)點(diǎn)數(shù)，在小波神經(jīng)網(wǎng)絡(luò)程序中對(duì)權(quán)值隨機(jī)賦予初始值；同時(shí)，由于WNN隱含層使用的函數(shù)為小波基函數(shù)，因此，初始化還包括對(duì)小波函數(shù)的參數(shù)比如尺度因子、位移因子等隨機(jī)賦予初始值；WNN在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上得到，而BP神經(jīng)網(wǎng)絡(luò)在使用最速梯度下降法進(jìn)行學(xué)習(xí)時(shí)，學(xué)習(xí)步長(zhǎng)也在初始化工作中賦予初始值；由于小波神經(jīng)網(wǎng)絡(luò)結(jié)束訓(xùn)練工作的標(biāo)志是：訓(xùn)練過(guò)程中網(wǎng)絡(luò)的輸出誤差值小于預(yù)設(shè)值或者小波神經(jīng)網(wǎng)絡(luò)在模型修正過(guò)程中的最大迭代次數(shù)大于等于網(wǎng)絡(luò)預(yù)設(shè)最大迭代次數(shù)，因此，在初始化工作中需人為設(shè)定小波神經(jīng)網(wǎng)絡(luò)的最大迭代次數(shù)，需根據(jù)網(wǎng)絡(luò)多次訓(xùn)練的經(jīng)驗(yàn)確定。21215.3小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)步驟3：網(wǎng)絡(luò)訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練過(guò)程將訓(xùn)練輸入樣本輸入WNN，使用訓(xùn)練樣本對(duì)小波神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，調(diào)整更新網(wǎng)絡(luò)參數(shù)，提升小波神經(jīng)網(wǎng)絡(luò)的泛化能力，使WNN成為更有針對(duì)性、目的性的小波神經(jīng)網(wǎng)絡(luò)模型；在對(duì)小波基函數(shù)的參數(shù)如平移因子、伸縮因子等的更新，增強(qiáng)WNN的收斂性，改進(jìn)BP神經(jīng)網(wǎng)絡(luò)收斂性較差的缺點(diǎn)。根據(jù)WNN的誤差公式，在程序的迭代過(guò)程中累計(jì)小波神經(jīng)網(wǎng)絡(luò)誤差和，并通過(guò)誤差輸出函數(shù)輸出。步驟4：結(jié)束。WNN的訓(xùn)練過(guò)程需要設(shè)定條件做標(biāo)準(zhǔn)用以結(jié)束訓(xùn)練程序，在小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練程序中，當(dāng)WNN訓(xùn)練的輸出誤差小于程序預(yù)設(shè)值或迭代過(guò)程中迭代次數(shù)大于等于程序預(yù)設(shè)最大迭代次數(shù)，則訓(xùn)練程序結(jié)束工作。如果未結(jié)束，返回步驟3。22225.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法雖然WNN作為小波分析與人工神經(jīng)網(wǎng)絡(luò)的結(jié)合兼具了二者的優(yōu)點(diǎn)，但是還有一些改進(jìn)空間，比如提高收斂速度等。本節(jié)從WNN的學(xué)習(xí)算法等角度出發(fā)，簡(jiǎn)要的分析如何提高小波神經(jīng)網(wǎng)絡(luò)性能。23235.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法優(yōu)化

ANN學(xué)習(xí)方式按照輸入樣本的差異可以分成有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)，也可以稱為有教師學(xué)習(xí)與無(wú)教師學(xué)習(xí)。有監(jiān)督學(xué)習(xí)方式中每一個(gè)輸入的訓(xùn)練樣本都對(duì)應(yīng)了一個(gè)教師信號(hào)，即訓(xùn)練輸出值，該訓(xùn)練輸出值為小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本的期望輸出值，小波神經(jīng)網(wǎng)絡(luò)以網(wǎng)絡(luò)權(quán)值為自變量，以訓(xùn)練輸入樣本與訓(xùn)練期望輸出樣本作為環(huán)境變量，訓(xùn)練時(shí)根據(jù)實(shí)際輸出值與期望輸出值的誤差值大小與方向調(diào)整權(quán)值大小，這樣的調(diào)整動(dòng)作在小波神經(jīng)網(wǎng)絡(luò)的每次迭代過(guò)程中都會(huì)發(fā)生，直至網(wǎng)絡(luò)的輸出誤差值符合預(yù)設(shè)誤差水平值以下為止，有監(jiān)督學(xué)習(xí)方式在整個(gè)計(jì)算更新的過(guò)程中網(wǎng)絡(luò)為封閉的閉環(huán)系統(tǒng)，在有監(jiān)督學(xué)習(xí)方式下形成的網(wǎng)絡(luò)可以完成模式分類、函數(shù)擬合等工作。當(dāng)系統(tǒng)在無(wú)監(jiān)督學(xué)習(xí)模式下時(shí)，小波神經(jīng)網(wǎng)絡(luò)只需要訓(xùn)練輸入樣本，無(wú)需得知每個(gè)訓(xùn)練輸入樣本應(yīng)對(duì)應(yīng)的期望輸出樣本值，網(wǎng)絡(luò)的權(quán)值更新只根據(jù)各個(gè)輸入樣本之間的關(guān)系進(jìn)行，無(wú)監(jiān)督式學(xué)習(xí)適合聯(lián)想記憶工作，但無(wú)法進(jìn)行函數(shù)逼近工作。24245.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法優(yōu)化

WNN結(jié)構(gòu)并非固定，其學(xué)習(xí)算法也并非只有一種。有監(jiān)督方式與無(wú)監(jiān)督方式又可以延伸對(duì)應(yīng)多種學(xué)習(xí)方式。（1）Hebb學(xué)習(xí)規(guī)則，它是根據(jù)網(wǎng)絡(luò)權(quán)值兩端連接神經(jīng)元的激活方式（異步激活或同步激活）選擇性的將該權(quán)值增大或減小、Widrow-Hoff學(xué)習(xí)規(guī)則、隨機(jī)學(xué)習(xí)規(guī)則與競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則等。（2）Widrow-Hoff準(zhǔn)則又稱為糾錯(cuò)準(zhǔn)則，權(quán)值的調(diào)整以誤差公式為依據(jù)，調(diào)整量與誤差大小成正比；隨機(jī)學(xué)習(xí)規(guī)則來(lái)源于統(tǒng)計(jì)力學(xué)，實(shí)際上為模擬退火算法。（3）競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則下的WNN其輸出神經(jīng)元之間競(jìng)爭(zhēng)，只有一個(gè)單元可以進(jìn)行權(quán)值調(diào)整，其他網(wǎng)絡(luò)權(quán)值保持不變，體現(xiàn)了神經(jīng)元之間的側(cè)向抑制。WNN的泛化能力與收斂速度取決于小波神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與模型修正，優(yōu)化算法就是優(yōu)化網(wǎng)絡(luò)模型修正的算法，通過(guò)是對(duì)傳統(tǒng)算法的修正?；谔荻鹊膶W(xué)習(xí)算法中，步長(zhǎng)即學(xué)習(xí)率決、權(quán)值修正量或函數(shù)及權(quán)向量化方法都是優(yōu)化方向。其中，步長(zhǎng)即學(xué)習(xí)率決、權(quán)值修正量或函數(shù)在第2章已經(jīng)分析，這里不再贅述。這里僅就權(quán)向量?jī)?yōu)化方法作一些討論分析。25255.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法優(yōu)化現(xiàn)以粒子群優(yōu)化算法（ParticleSwarmOptimization，PSO）為例，說(shuō)明如何優(yōu)化權(quán)向量。粒子群優(yōu)化算法的基本思想為：首先需對(duì)粒子進(jìn)行初始化，每個(gè)粒子都可能是潛在問(wèn)題的最優(yōu)解，每個(gè)粒子可以用位置、速度、適應(yīng)度三個(gè)特征值表征，三個(gè)特征值用以衡量粒子的好壞，在可解空間內(nèi)通過(guò)跟蹤個(gè)體極值與群體極值作為衡量標(biāo)準(zhǔn)更新粒子的位置，其中個(gè)體極值指的是經(jīng)過(guò)計(jì)算后的個(gè)體適應(yīng)度值最優(yōu)位置，相應(yīng)的群體極值便為所有粒子搜索到的適應(yīng)度值最優(yōu)解。在具體的計(jì)算中，粒子每更新一次，適應(yīng)度值便重新計(jì)算一次，并且通過(guò)比較個(gè)體極值與種群極值的適應(yīng)度值更新個(gè)體極值與種群極值的位置。26265.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.1小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法優(yōu)化在由M個(gè)粒子組成的D維粒子群空間中，表示第i個(gè)粒子的位置向量，表示第i個(gè)粒子的速度，其個(gè)體極值點(diǎn)位置為

整個(gè)群體極值點(diǎn)位置為。粒子的更新以公式為式中，w為慣性權(quán)重；、為學(xué)習(xí)因子，一般取分布于之間的非負(fù)常數(shù)；、為之間的隨機(jī)數(shù)。借鑒變異思想補(bǔ)足粒子群算法自身的缺陷時(shí)，具體體現(xiàn)在小波神經(jīng)網(wǎng)絡(luò)的模型修正的過(guò)程為：在WNN的初始化工作結(jié)束后，針對(duì)改進(jìn)后的粒子群算法，通過(guò)已賦予了初始值的小波神經(jīng)網(wǎng)絡(luò)的誤差公式確定每個(gè)粒子的適應(yīng)度值；對(duì)粒子極值進(jìn)行更新，通過(guò)粒子更新模型更新粒子的速度與位置，根據(jù)遺傳算法思想，以一定的概率重新初始化粒子，與此同時(shí)更新粒子極值與群體極值。27275.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化小波函數(shù)肯定會(huì)影響小波神經(jīng)網(wǎng)絡(luò)的性能，通過(guò)對(duì)小波基函數(shù)分析，包括Morlet函數(shù)，從其函數(shù)的特性尤其是代入ANN后的小波神經(jīng)網(wǎng)絡(luò)的收斂性出發(fā)，分析函數(shù)的優(yōu)化選擇。1.Haar小波Haar函數(shù)公式為該小波屬于正交小波，函數(shù)使用廣泛。但是該小波函數(shù)不連續(xù)、頻域局部分辨率差等缺點(diǎn)導(dǎo)致其適用范圍受限。2.

Morlet小波Morlet函數(shù)是高斯網(wǎng)絡(luò)下的單頻率復(fù)正弦函數(shù)，Morlet小波是應(yīng)用比較多的小波函數(shù)，但是它不具備正交性、不具備緊支撐集，因此在在時(shí)域與頻域內(nèi)小波都比較集中。28285.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化3.Mcxicanhat小波Mcxicanhat又名“墨西哥草帽”小波，該小波定義為：Mcxicanhat小波具有良好的時(shí)頻局部特性，不存在尺度函數(shù)、不具備正交性，但可用于連續(xù)小波變換。29295.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化4.Daubcchics小波Daubcchics簡(jiǎn)稱為db小波，它是對(duì)尺度取2時(shí)整次冪條件下進(jìn)行小波變換的一類小波，該小波具有正交性，緊支撐，但是并不是對(duì)稱小波。對(duì)于小波神經(jīng)網(wǎng)絡(luò)，選擇小波基函數(shù)時(shí)，應(yīng)在保證網(wǎng)絡(luò)性能的前提下，盡量減少計(jì)算時(shí)間，也就是說(shuō)，在保證WNN訓(xùn)練后在一定誤差范圍內(nèi)，小波神經(jīng)網(wǎng)絡(luò)要加快收斂速度，提高WNN模型的實(shí)時(shí)性。將不同的小波基函數(shù)代入WNN中，最終得到的函數(shù)擬合誤差，如下圖所示。30305.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.2小波基函數(shù)優(yōu)化4.Daubcchics小波不同的小波函數(shù)帶入WNN中，由于每個(gè)小波函數(shù)特性不相同，因此針對(duì)函數(shù)的非線性擬合問(wèn)題，上圖表明，雖然分析了多種函數(shù)，但最終結(jié)果依然是Morlet小波函數(shù)作為WNN的隱含層激勵(lì)函數(shù)時(shí)，其的誤差值更小，再進(jìn)一步分析，根據(jù)程序中小波神經(jīng)網(wǎng)絡(luò)的收斂速度，還可以得出Morlet小波基函數(shù)收斂性更好的結(jié)論。31315.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.3小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化WNN的結(jié)構(gòu)主要由輸入層、隱含層、輸出層與彼此相連的節(jié)點(diǎn)網(wǎng)絡(luò)權(quán)值組成，WNN的輸入層與輸出層都為單層，且輸入層與輸出層的節(jié)點(diǎn)數(shù)只與小波神經(jīng)網(wǎng)絡(luò)解決的具體問(wèn)題有關(guān)。因此，WNN結(jié)構(gòu)對(duì)性能的影響體現(xiàn)在隱含層的層數(shù)與隱含層節(jié)點(diǎn)數(shù)的選取是否適宜待解決問(wèn)題。隱含層是WNN的輸入層與輸出層之間的中間層，它負(fù)責(zé)對(duì)小波神經(jīng)網(wǎng)絡(luò)輸入層輸入的數(shù)據(jù)進(jìn)行特征提取工作，隨著隱含層層數(shù)的增加，相應(yīng)的小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度也會(huì)增加，數(shù)據(jù)處理的時(shí)間變長(zhǎng)，甚至于隨著小波神經(jīng)網(wǎng)絡(luò)隱含層層數(shù)增加，小波神經(jīng)網(wǎng)絡(luò)還可能會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，因此小波神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇一般會(huì)優(yōu)先選擇三層結(jié)構(gòu)網(wǎng)絡(luò)，即選擇只有一層隱含層的小波神經(jīng)網(wǎng)絡(luò)。然而，在工程過(guò)程中，如果增加隱含層節(jié)點(diǎn)數(shù)已不能提升小波神經(jīng)網(wǎng)絡(luò)的非線性擬合能力，或者是小波神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)過(guò)多導(dǎo)致網(wǎng)絡(luò)運(yùn)行困難等缺陷，就可以考慮適當(dāng)增加小波神經(jīng)網(wǎng)絡(luò)隱含層的層數(shù)、減少單層隱含層的節(jié)點(diǎn)數(shù)。32325.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.3小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

如何確定小波神經(jīng)網(wǎng)絡(luò)中隱含層節(jié)點(diǎn)數(shù)呢？隱含層與輸入節(jié)點(diǎn)的網(wǎng)絡(luò)聯(lián)系以及隱含層與輸出層之間的網(wǎng)絡(luò)聯(lián)系共同組成了小波神經(jīng)網(wǎng)絡(luò)的核心，其中隱含層可以提取WNN輸入層中的泛化信息，起到了體現(xiàn)輸入層與輸出層之間映射關(guān)系的作用，因此隱含層節(jié)點(diǎn)數(shù)的選擇十分重要。隱含層節(jié)點(diǎn)過(guò)多，造成網(wǎng)絡(luò)冗余度增加、計(jì)算量增大、時(shí)間增長(zhǎng)等后果；而隱含層節(jié)點(diǎn)數(shù)過(guò)少，則小波神經(jīng)網(wǎng)絡(luò)可能最基本的實(shí)現(xiàn)輸入層與輸出層之間的映射關(guān)系、非線性擬合能力無(wú)法完整的體現(xiàn)出來(lái)。因此，需從小波神經(jīng)網(wǎng)絡(luò)功能的實(shí)現(xiàn)，網(wǎng)絡(luò)訓(xùn)練的快速性、結(jié)構(gòu)的精煉性等方面考慮隱含層節(jié)點(diǎn)數(shù)的選擇。33335.4小波神經(jīng)網(wǎng)絡(luò)優(yōu)化方法5.4.3小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

（1）為了提高小波神經(jīng)網(wǎng)絡(luò)性能，因此應(yīng)該在保證小波神經(jīng)網(wǎng)絡(luò)模型的泛化能力前提下，盡量的減少計(jì)算時(shí)間，即要在保證網(wǎng)絡(luò)訓(xùn)練后準(zhǔn)確度的前提下，盡可能的精簡(jiǎn)WNN結(jié)構(gòu)，這其中包括減少WNN隱含層的層數(shù)，也包括在準(zhǔn)確度保證的前提下盡量地減少小波神經(jīng)網(wǎng)絡(luò)隱含層的節(jié)點(diǎn)數(shù)。因?yàn)殡[含層的作用是對(duì)信息進(jìn)行提取歸納作用，故其節(jié)點(diǎn)數(shù)一般遠(yuǎn)遠(yuǎn)小于訓(xùn)練的樣本數(shù)，訓(xùn)練樣本數(shù)需要高于網(wǎng)絡(luò)的連接權(quán)數(shù)，否則網(wǎng)絡(luò)沒(méi)有泛化能力。

（2）為了減小小波神經(jīng)網(wǎng)絡(luò)模型在模型修正過(guò)程中的計(jì)算量，提高計(jì)算速度，在一定范圍內(nèi)增加小波神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)可以提高小波神經(jīng)網(wǎng)絡(luò)的非線性擬合能力，然而當(dāng)隱含層節(jié)點(diǎn)數(shù)超過(guò)這個(gè)范圍后，增加WNN隱含層節(jié)點(diǎn)數(shù)對(duì)于提高小波神經(jīng)網(wǎng)絡(luò)模型的性能影響不大。文獻(xiàn)[32]給出了一種確定隱含層節(jié)點(diǎn)數(shù)的方式：隱含層節(jié)點(diǎn)數(shù)等于輸入層節(jié)點(diǎn)個(gè)數(shù)與輸出層節(jié)點(diǎn)個(gè)數(shù)之和的一半加一，利用輸入層節(jié)點(diǎn)數(shù)與輸出層節(jié)點(diǎn)個(gè)數(shù)，借鑒兩個(gè)隱含層節(jié)點(diǎn)數(shù)的計(jì)算公式，計(jì)算出隱含層的可能值后，將可能值分別向左向右分別拓寬取值范圍，將取值范圍內(nèi)的所有可能的數(shù)目進(jìn)行試驗(yàn)驗(yàn)證，最終選取最適宜值作為WNN隱含層節(jié)點(diǎn)個(gè)數(shù)。345.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法34根據(jù)前面分析，現(xiàn)研究嵌入小波神經(jīng)網(wǎng)絡(luò)的盲均衡算法。本節(jié)研究將小波嵌入神經(jīng)網(wǎng)絡(luò)與空間分集技術(shù)、分?jǐn)?shù)間隔相結(jié)合的常模盲均衡算法，提出了基于空間分集技術(shù)的小波神經(jīng)網(wǎng)絡(luò)盲均衡算法和基于小波神經(jīng)網(wǎng)絡(luò)的分?jǐn)?shù)間隔盲均衡算法。這兩類算法與標(biāo)準(zhǔn)的前饋神經(jīng)網(wǎng)絡(luò)盲均衡算法相比較，均能體現(xiàn)出明顯的優(yōu)越性。355.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法355.5.1算法描述由于小波神經(jīng)網(wǎng)絡(luò)具有很高的模擬精度和很快的訓(xùn)練速度，現(xiàn)將小波神經(jīng)網(wǎng)絡(luò)引入至空間分集盲均衡算法中，得到的基于空間分集的小波神經(jīng)網(wǎng)絡(luò)盲均衡算法(SDE-WNN)，該算法將在提高接收端信噪比、降低誤碼率的同時(shí)，加快收斂速度。SDE-WNN如下圖所示。365.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法365.5.1算法描述在復(fù)數(shù)系統(tǒng)下，SDE-WNN的輸入信號(hào)、輸入層與隱層的連接權(quán)值、隱層與輸出層連接權(quán)值表示為復(fù)數(shù)形式，即式中，為空間分集的支路個(gè)數(shù)，表示實(shí)部，表示虛部。第路小波神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程方程為式中，為小波基函數(shù)。第路常數(shù)模(CMA)代價(jià)函數(shù)為

式中，為第路輸出信號(hào)，是發(fā)射信號(hào)序列的模。375.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法375.5.1算法描述在根據(jù)最速梯度下降法，可得到輸出層與隱層的權(quán)值迭代公式為從而得到同理可得，輸入層權(quán)值迭代公式為385.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法385.5.1算法描述那么，引入空間分集后，伸縮因子經(jīng)過(guò)小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代公式為所以式中，為伸縮因子的迭代步長(zhǎng)。395.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法395.5.1算法描述同理，平移因子迭代公式為

其中，為平移因子的迭代步長(zhǎng)。405.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法405.5.2仿真實(shí)驗(yàn)與結(jié)果分析

【實(shí)驗(yàn)5.1】采用典型稀疏兩徑水聲信道和均勻介質(zhì)兩徑水聲信道；發(fā)射信號(hào)為4QAM，信噪比為20dB，實(shí)驗(yàn)中采用，用WNN1和WNN2表示信道1和信道2的小波神經(jīng)網(wǎng)絡(luò)盲均衡器，采用三層小波神經(jīng)網(wǎng)絡(luò)，且均衡器的長(zhǎng)度為11，采用中心抽頭系數(shù)初始化，WNN1中小波伸縮因子步長(zhǎng)，平移因子的步長(zhǎng)，權(quán)向量步長(zhǎng)；WNN2中伸縮因子步長(zhǎng)，平移因子的步長(zhǎng)，權(quán)向量步長(zhǎng)，仿真結(jié)果，如下圖所示。(a)誤差曲線(b)均方根誤差曲線415.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法415.5.2仿真實(shí)驗(yàn)與結(jié)果分析(c)WNN1輸出(d)WNN2輸出(e)SDE-WNN輸出

上圖表明，SDE-WNN的收斂速度要快于WNN1和WNN2，從圖(a)可知，SDE-WNN均方誤差比WNN1小1dB，而比WNN2明顯小4dB；圖(b)表明，在不同信噪比的情況下，SDE-WNN的均方根誤差最??；在相同信噪比情況下，更能顯示SDE-WNN的優(yōu)越性，圖(c~e)表明，SDE-WNN的星座圖更加清晰、緊湊。425.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法425.5.2仿真實(shí)驗(yàn)與結(jié)果分析

【實(shí)驗(yàn)5.2】仍采用實(shí)驗(yàn)11.10的信道，發(fā)射信號(hào)為2PAM，信噪比為20dB，實(shí)驗(yàn)中采用，用WNN1和WNN2表示信道1和信道2的小波神經(jīng)網(wǎng)絡(luò)盲均衡器，小波神經(jīng)網(wǎng)絡(luò)盲均衡器的長(zhǎng)度為11，采用中心抽頭系數(shù)初始化，WNN1中小波伸縮因子步長(zhǎng)，平移因子的步長(zhǎng)，權(quán)向量步長(zhǎng)；WNN2中伸縮因子步長(zhǎng)，平移因子的步長(zhǎng)，權(quán)向量步長(zhǎng)。仿真結(jié)果，如下圖所示。(a)誤差曲線(b)均方根誤差曲線435.5實(shí)例4：基于嵌入小波神經(jīng)網(wǎng)絡(luò)的常模盲均衡算法435.5.2仿真實(shí)驗(yàn)與結(jié)果分析

上圖表明，SDE-WNN的收斂速度要快于WNN1和WNN2，并且均方誤差明顯比WNN1和WNN2小2dB和5dB，圖(b)表明，在不同信噪比的情況下，SDE-WNN的均方根誤差減小的幅度更大；在相同信噪比情況下，更能顯示SDE-WNN的優(yōu)越性；圖(c~e)表明，SDE-WNN的星座圖更加清晰、緊湊、均衡效果更優(yōu)。(c)WNN1輸出星座圖(d)WNN2輸出星座圖(e)SDE-WNN輸出星座圖PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.2CNN訓(xùn)練6.3卷積操作的變種6.4池化操作的變種6.5常見(jiàn)的幾種CNN結(jié)構(gòu)6.6幾種拓展的CNN結(jié)構(gòu)6.7基于深度CNN的遙感圖像分類第六章卷積神經(jīng)網(wǎng)絡(luò)6.8基于深度CNN的運(yùn)動(dòng)模糊去除方法典型的CNN由輸入層、卷積層、池化層、全連接層、輸出層等構(gòu)成。其思維導(dǎo)向，如圖所示；卷積神經(jīng)網(wǎng)絡(luò)6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卷積核

卷積核就是觀察的范圍，與人眼不同，計(jì)算機(jī)的觀察范圍要比人眼小得多，一般使用3×3，5×5，7×7等矩陣作為卷積核。應(yīng)該使用多大的卷積核，一般由輸入圖片的大小來(lái)決定的，輸入圖片越大，使用的卷積核也越大。6.1.1基本概念注意：卷積核一般都是奇數(shù)。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)4747步長(zhǎng)

人眼可以很容易直接找到目標(biāo)內(nèi)容，而計(jì)算機(jī)不行。計(jì)算機(jī)需要一行一行的把整張圖片掃描一遍才能找到目標(biāo)，而掃描的間距就是步長(zhǎng)。一般為了不遺漏特征值，掃描的步長(zhǎng)通常都會(huì)設(shè)定成1（針對(duì)大圖時(shí)也會(huì)將步長(zhǎng)設(shè)大）6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)填充

（1）只掃描可卷積的像素（padding=‘valid’），如圖所示。如果使用3×3的卷積核進(jìn)行卷積，那么通常需從(2,2)的位置開始（此處下標(biāo)從1開始），因?yàn)槿绻麖?1,1)開始，則該點(diǎn)的左面和上面都沒(méi)有數(shù)據(jù)，同理最終以(n-1,n-1)結(jié)束；如果步長(zhǎng)為1，卷積操作以后得到的結(jié)果會(huì)比原來(lái)的圖片長(zhǎng)寬各少2個(gè)像素。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（2）掃描所有像素（進(jìn)行邊緣0填充，padding=‘same’），如圖所示。這種方式不管卷積核多大，都從(1,1)開始操作，周邊不足的地方以0進(jìn)行填充，所以步長(zhǎng)為1時(shí)，卷積以后得到的結(jié)果和原圖大小是一樣的。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)深度

用一個(gè)卷積核對(duì)圖片進(jìn)行一次卷積操作，將會(huì)得到一個(gè)結(jié)果；用多個(gè)卷積核對(duì)圖片進(jìn)行多次卷積操作就會(huì)得到多個(gè)結(jié)果，該結(jié)果的數(shù)量就是深度。

為什么要對(duì)同一張圖片進(jìn)行多次卷積操作呢？

6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

首先，在全連接層中，上層神經(jīng)元到本層某個(gè)神經(jīng)元的權(quán)重是w，兩層之間的參數(shù)w的數(shù)量就是兩層神經(jīng)元個(gè)數(shù)的乘積；而對(duì)圖片進(jìn)行卷積操作時(shí)，使用同一個(gè)卷積核，那么這個(gè)卷積核就與全連接層中的一個(gè)w是相同的意義，一個(gè)卷積核就是一個(gè)參數(shù)（或者也可以理解為一個(gè)卷積核就對(duì)應(yīng)一個(gè)或一組神經(jīng)元），在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，每個(gè)卷積核的值都會(huì)被調(diào)整。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卷積和互相關(guān)

卷積神經(jīng)網(wǎng)絡(luò)由卷積操作得名，卷積操作是信號(hào)處理、圖像處理和其它領(lǐng)域最常用的一種操作。在深度學(xué)習(xí)領(lǐng)域，卷積操作使用互相關(guān)運(yùn)算來(lái)代替。

卷積運(yùn)算的定義為該定義表明，卷積操作是兩個(gè)函數(shù)的積分，其中一個(gè)函數(shù)經(jīng)過(guò)顛倒和位移操作。下圖是卷積操作的可視化演示。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

左上角的兩個(gè)圖片是原始的

，

過(guò)濾器，首先將其顛倒如左下角兩圖所示，然后沿著水平坐標(biāo)軸滑動(dòng)過(guò)濾器如圖右上角兩圖所示。在每一個(gè)位置，計(jì)算

和

顛倒后的交叉范圍的面積，每一個(gè)具體點(diǎn)的交叉面積就是該點(diǎn)的卷積值，整個(gè)操作的卷積是所有卷積值的累加。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

互相關(guān)運(yùn)算的定義是兩個(gè)函數(shù)的滑動(dòng)點(diǎn)乘或者滑動(dòng)內(nèi)積，過(guò)濾器不需要經(jīng)過(guò)顛倒操作。過(guò)濾器和函數(shù)的交叉區(qū)域的面積和就是互相關(guān)，下圖顯示了互相關(guān)運(yùn)算和卷積運(yùn)算的區(qū)別。

在深度學(xué)習(xí)中，卷積運(yùn)算中的過(guò)濾器并沒(méi)有經(jīng)過(guò)顛倒操作，因此實(shí)際上就是互相關(guān)運(yùn)算。但是由于卷積神經(jīng)網(wǎng)絡(luò)中的卷積核(過(guò)濾器)是隨機(jī)初始化的，所以在此互相關(guān)運(yùn)算和卷積運(yùn)算沒(méi)有本質(zhì)的區(qū)別，可以把經(jīng)過(guò)學(xué)習(xí)后得到的互相關(guān)過(guò)濾器視為實(shí)際的卷積過(guò)濾器的顛倒。5555

與神經(jīng)網(wǎng)絡(luò)一樣，模型輸入需進(jìn)行預(yù)處理操作。常見(jiàn)的輸入層中對(duì)圖像預(yù)處理方式有：去均值、歸一化、主成分分析（principalcomponentanalysis，PCA）/支持向量（Supportvectormachine，SVM）降維等。

1．均值化

把輸入數(shù)據(jù)各個(gè)維度都中心化到0，所有樣本求和求平均，然后用所有的樣本減去這個(gè)均值樣本就是去均值。

2.歸一化

數(shù)據(jù)幅度歸一化到同樣范圍，對(duì)于每個(gè)特征而言，范圍值區(qū)間為[-1,1]。

3.PCA/白化

用主成分分析法（PCA）進(jìn)行降維，讓每個(gè)維度的相關(guān)性消失，特征和特征之間相互獨(dú)立。白化是對(duì)數(shù)據(jù)每個(gè)特征軸上的幅度歸一化。6.1.2輸入層6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)566.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（a）均值化與歸一化

（b）去相關(guān)與白化

假設(shè)有一個(gè)3×3大小的卷積層，其輸入通道為3、輸出通道為4。那么一般的操作就是用4個(gè)3×3×3的卷積核來(lái)分別同輸入數(shù)據(jù)卷積，得到的輸出只有一個(gè)通道的數(shù)據(jù)。之所以會(huì)得到一通道的數(shù)據(jù)，是因?yàn)閯傞_始3×3×3的卷積核的每個(gè)通道會(huì)在輸入數(shù)據(jù)的每個(gè)對(duì)應(yīng)通道上做卷積，然后疊加每一個(gè)通道對(duì)應(yīng)位置的值，使之變成單通道，那么4個(gè)卷積核一共需要(3×3×3)×4=108個(gè)參數(shù)。6.1.3卷積層常規(guī)卷積6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在大腦識(shí)別圖像的過(guò)程中，大腦并不是整張圖同時(shí)識(shí)別，而是對(duì)于圖片中的每一個(gè)特征首先局部感知，然后更高層次對(duì)局部進(jìn)行綜合操作，從而得到全局信息。局部感知過(guò)程，6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)局部感知

卷積層的計(jì)算公式為

式中，F(xiàn)表示每一張?zhí)卣鲌D，w表示卷積核；

表示卷積運(yùn)算。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積操作的含義是什么？例如，一張32×32×3的圖像，進(jìn)行卷積核大小為5×5×3的計(jì)算過(guò)程，如圖6.12所示。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(a)卷積條件與結(jié)果

(b)卷積計(jì)算

(c)卷積核

(d)逐層卷積6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

所謂激勵(lì)，實(shí)際上是對(duì)卷積層的輸出結(jié)果做一次非線性映射。卷積層的輸出可表示為

式中，

表示第

層第個(gè)輸出特征圖，

表示第

層第n個(gè)特征圖與第

-1層第m個(gè)特征圖之間的連接權(quán)重，

表示卷積計(jì)算，

表示第

-1層第m個(gè)輸出特征圖，

表示第

層第n個(gè)偏置。常用的非線性激活函數(shù)有Sigmoid、Tanh、ReLU、LReLU等。Sigmod：Tanh：ReLU：LReLU：6.1.4激勵(lì)層6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

池化層（Poolinglayer）：也稱為子采樣(Subsampling)或降采樣(Downsampling)。主要用于特征降維，壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減小過(guò)擬合，同時(shí)提高模型的容錯(cuò)性。

1.池化層功能

池化操作(Pooling)往往會(huì)用在卷積層之后，通過(guò)池化來(lái)降低卷積層輸出的特征維度，有效減少網(wǎng)絡(luò)參數(shù)、防止過(guò)擬合現(xiàn)象。主要功能如下：

（1）增大感受野

所謂感受野，即一個(gè)像素對(duì)應(yīng)回原圖的區(qū)域大小。假如沒(méi)有pooling，一個(gè)3×3、步長(zhǎng)為1的卷積，輸出一個(gè)像素的感受野就是3×3的區(qū)域；再加一個(gè)stride=1的3×3卷積，則感受野為5×5。感受野的增加對(duì)于模型能力的提升是必要的，正所謂“一葉障目則不見(jiàn)泰山也”。6.1.5池化層636.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（2）平移不變性

在池化層，池化函數(shù)使用某一位置的相鄰輸出的總體統(tǒng)計(jì)特征來(lái)代替網(wǎng)絡(luò)在該位置的輸出。希望不管采用什么樣的池化函數(shù)，當(dāng)對(duì)輸入進(jìn)行少量平移時(shí)，經(jīng)過(guò)池化函數(shù)后的大多數(shù)輸出并不會(huì)發(fā)生改變，這就是平移的不變性。因?yàn)閜ooling不斷地抽象了區(qū)域的特征而不關(guān)心位置，所以pooling一定程度上增加了平移不變性。池化的平移不變性(translationinvariant)，如圖所示。圖中右上角為3副橫折位置不一樣的圖像，分別同左上角的卷積核進(jìn)行運(yùn)算，然后再進(jìn)行3×3大小池化操作，最后得到的識(shí)別結(jié)果相同。6.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（2）平移不變性

在池化層，池化函數(shù)使用某一位置的相鄰輸出的總體統(tǒng)計(jì)特征來(lái)代替網(wǎng)絡(luò)在該位置的輸出。希望不管采用什么樣的池化函數(shù)，當(dāng)對(duì)輸入進(jìn)行少量平移時(shí)，經(jīng)過(guò)池化函數(shù)后的大多數(shù)輸出并不會(huì)發(fā)生改變，這就是平移的不變性。因?yàn)閜ooling不斷地抽象了區(qū)域的特征而不關(guān)心位置，所以pooling一定程度上增加了平移不變性。池化的平移不變性(translationinvariant)，如圖所示。圖中右上角為3副橫折位置不一樣的圖像，分別同左上角的卷積核進(jìn)行運(yùn)算，然后再進(jìn)行3×3大小池化操作，最后得到的識(shí)別結(jié)果相同。656.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

（3）降低優(yōu)化難度和參數(shù)可以用步長(zhǎng)大于1的卷積來(lái)替代池化，但是池化每個(gè)特征通道單獨(dú)做降采樣，與基于卷積的降采樣相比，不需要參數(shù)，更容易優(yōu)化。全局池化更是可以大大降低模型的參數(shù)量和優(yōu)化工作量。2．最常見(jiàn)的池化操作最常見(jiàn)的池化操作為平均池化（meanpooling）和最大池化（maxpooling）。平均池化是計(jì)算圖像區(qū)域的平均值作為該區(qū)域池化后的值。最大池化是選圖像區(qū)域的最大值作為該區(qū)域池化后的值。（1）最大池化

最大池化又分為重疊池化和非重疊池化。如，常見(jiàn)的stride=kernelsize，屬于非重疊池化；若stride<kernelsize，則屬重疊池化。與非重疊池化相比，重疊池化不僅可以提升預(yù)測(cè)精度，同時(shí)在一定程度上可以緩解過(guò)擬合。666.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

最大池化的具體操作：整個(gè)圖片被不重疊的分割成若干個(gè)同樣大小的小塊（poolingsize）。每個(gè)小塊內(nèi)只取最大的數(shù)字，再舍棄其他節(jié)點(diǎn)后，保持原有的平面結(jié)構(gòu)得到輸出，如圖所示。相應(yīng)的，對(duì)于多個(gè)特征映射（featuremap），原本64張224×224的圖像，經(jīng)過(guò)最大池化后，變成了64張112×112的圖像，如圖6.20所示，從而實(shí)現(xiàn)了降采樣(downsample)的目的。676.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)3.平均池化圖6.21表示一個(gè)4×4特征映射鄰域內(nèi)的值用一個(gè)2×2的濾波器（filter）、步長(zhǎng)為2進(jìn)行掃描，計(jì)算平均值輸出到下一層，這叫做平均池化（meanpooling）。686.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.6輸出層（全連接層）

經(jīng)過(guò)若干次卷積+激勵(lì)+池化后，就到了輸出層。模型會(huì)將學(xué)到的一個(gè)高質(zhì)量的特征圖送全連接層。其實(shí)在全連接層之前，如果神經(jīng)元數(shù)目過(guò)大，學(xué)習(xí)能力強(qiáng)，有可能出現(xiàn)過(guò)擬合。因此，可以引入dropout操作，通過(guò)隨機(jī)刪除神經(jīng)網(wǎng)絡(luò)中的部分神經(jīng)元，來(lái)解決此問(wèn)題。還可以進(jìn)行局部響應(yīng)歸一化（Localresponsenormalization,

LRN）、數(shù)據(jù)增強(qiáng)等操作來(lái)增加魯棒性。

當(dāng)來(lái)到了全連接層之后，可以理解為一個(gè)簡(jiǎn)單的多分類神經(jīng)網(wǎng)絡(luò)（如BP神經(jīng)網(wǎng)絡(luò)），通過(guò)softmax函數(shù)得到最終的輸出。整個(gè)模型訓(xùn)練完畢。696.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.6輸出層（全連接層）兩層之間所有神經(jīng)元都有權(quán)重連接，通常全連接層在卷積神經(jīng)網(wǎng)絡(luò)尾部。也就是與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)神經(jīng)元的連接方式一樣，如圖所示。706.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.7維度變化過(guò)程

在CNN中，通過(guò)卷積核對(duì)上一層進(jìn)行卷積操作，完成特征抽取，在下一層進(jìn)行池化。本節(jié)主要分析卷積層和池化層的維度變化過(guò)程，在使用全0填充（如果步長(zhǎng)為1，則可避免節(jié)點(diǎn)矩陣通過(guò)卷積層后尺寸發(fā)生變化）時(shí)，卷積層/池化層的輸出維度計(jì)算公式為

式中，

表示卷積層輸出矩陣的長(zhǎng)度，它等于輸入層矩陣長(zhǎng)度除以在長(zhǎng)度方向上的步長(zhǎng)的向上取整值，

表示卷積層輸出矩陣的寬度，它等于輸入層矩陣寬度除以在寬度方向上步長(zhǎng)的向上取整值。

716.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.1.7維度變化過(guò)程如果不使用全0填充，則卷積層/池化層的輸出維度計(jì)算公式為式中，表示卷積核/池化核在長(zhǎng)度方向上的大小，表示卷積核/池化核在寬度方向上的大小。726.2CNN訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)包括由它延伸出的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程都由兩個(gè)部分組成：前向傳播和反向傳播。假設(shè)網(wǎng)絡(luò)共有L層，其中卷積層的卷積核個(gè)數(shù)為K，卷積核的尺寸為F，padding的尺寸為P，卷積步長(zhǎng)為S。前向傳播的步驟如下：步驟1：根據(jù)padding尺寸P填充樣本維度；步驟2：初始化網(wǎng)絡(luò)層的權(quán)重w和偏置b；步驟3：第一層為輸入層，則前向傳播從第二層l=2開始到L-2層結(jié)束

736.2CNN訓(xùn)練

(a)若第l層為卷積層，則該層的輸出為(b)若第l層為池化層，則該層輸出為(c)若第l層為全連接層，則該層輸出為746.2CNN訓(xùn)練步驟4：網(wǎng)絡(luò)最后層激活函數(shù)若選為Softmax，則第L層的輸出為

以上是CNN前向傳播的過(guò)程，為了防止過(guò)擬合，在網(wǎng)絡(luò)設(shè)置時(shí)，會(huì)設(shè)置Dropout系數(shù)。該參數(shù)作用是使網(wǎng)絡(luò)中神經(jīng)元隨機(jī)失活，即神經(jīng)元強(qiáng)迫置零，達(dá)到防止過(guò)擬合的目的。

在反向傳播中，網(wǎng)絡(luò)損失函數(shù)為交叉熵?fù)p失函數(shù)(Categoricalcrossentropyloss)，它描述網(wǎng)絡(luò)輸出概率與實(shí)際輸出概率的距離，即交叉熵越小，兩者概率分布越接近。假設(shè)該損失函數(shù)為

，學(xué)習(xí)率為

。

756.2CNN訓(xùn)練反向傳播中第l層權(quán)重和偏置的更新公式為在反向傳播中，網(wǎng)絡(luò)會(huì)隨著迭代次數(shù)的增加不斷調(diào)優(yōu)權(quán)重和偏置，使得交叉熵?fù)p失函數(shù)最小，直到它不再變化或達(dá)到迭代次數(shù)停止。766.3卷積操作的變種6.3.1深度可分離卷積操作

為了便于比較，這里仍先給出常規(guī)卷積過(guò)程，如圖所示。(a)1層的輸出標(biāo)準(zhǔn)2D卷積，使用1個(gè)過(guò)濾器

(b)有128層的輸出的標(biāo)準(zhǔn)2D卷積，要使用128個(gè)過(guò)濾器776.3卷積操作的變種

1.逐層卷積（DepthwiseConvolution，DW）

逐層卷積（DW）的一個(gè)卷積核負(fù)責(zé)一個(gè)通道，一個(gè)通道只被一個(gè)卷積核卷積。前面的常規(guī)卷積每個(gè)卷積核同時(shí)操作輸入圖片的每個(gè)通道?，F(xiàn)在不使用2D卷積中大小為3×3×3的單個(gè)過(guò)濾器，而是分開使用3個(gè)核。每個(gè)過(guò)濾器的大小為3×3×1。每個(gè)核與輸入層的一個(gè)通道卷積（僅一個(gè)通道，而非所有通道?。?。每個(gè)這樣的卷積都能提供大小為5×5×1的映射圖。然后，將這些映射圖堆疊在一起，創(chuàng)建一個(gè)5×5×3的圖像。經(jīng)過(guò)這個(gè)操作之后，得到大小為5×5×3的輸出，如圖所示。786.3卷積操作的變種

逐層卷積完成后的特征映射數(shù)量與輸入層的通道數(shù)相同，無(wú)法擴(kuò)展特征映射；而且這種運(yùn)算對(duì)輸入層的每個(gè)通道獨(dú)立進(jìn)行卷積運(yùn)算，沒(méi)有有效利用不同通道在相同空間位置上的特征信息。因此，需要逐層卷積將這些特征映射進(jìn)行組合生成新的特征映射。796.3卷積操作的變種

2.逐像素卷積（PointwiseConvolution，PC）逐像素卷積的運(yùn)算與常規(guī)卷積運(yùn)算非常相似，它的卷積核的尺寸為1×1×C，C為上一層的通道數(shù)。所以這里的卷積運(yùn)算會(huì)將上一步的映射在深度方向上進(jìn)行加權(quán)組合，生成新的特征映射，有幾個(gè)卷積核就有幾個(gè)輸出特征映射。為了擴(kuò)展深度，應(yīng)用一個(gè)核大小為1×1×3的1×1卷積。將5×5×3的輸入圖像與每個(gè)1×1×3的核卷積，可得到大小為5×5×1的映射圖，如圖所示。

因此，在應(yīng)用128個(gè)1×1卷積之后，得到大小為5×5×128的層，如圖所示806.3卷積操作的變種

3.深度可分卷積通過(guò)上述兩個(gè)步驟，深度可分卷積也會(huì)將輸入層（7×7×3）變換到輸出層（5×5×128）。深度可分卷積的整個(gè)過(guò)程，如圖所示。

與2D卷積相比，深度可分卷積所需的操作要少得多。對(duì)于大小為H×W×C的輸入圖像，如果使用Nc個(gè)大小為h×h×C的核執(zhí)行2D卷積（步幅為1，填充為0，其中h是偶數(shù)）。816.3卷積操作的變種為了將輸入層（H×W×C）變換到輸出層(H-h+1)×(W-h+1)×Nc。所需的總乘法次數(shù)為

另一方面，對(duì)于同樣的變換，深度可分卷積所需的乘法次數(shù)為826.3卷積操作的變種

深度可分卷積與2D卷積所需的乘法次數(shù)比為當(dāng)Nc>>h時(shí)，則式(6.3.3)可約簡(jiǎn)為1/h2?；诖?，如果使用3×3過(guò)濾器，則2D卷積所需的乘法次數(shù)是深度可分卷積的9倍。如果使用5×5過(guò)濾器，則2D卷積所需的乘法次數(shù)是深度可分卷積的25倍。

使用深度可分卷積會(huì)降低卷積中參數(shù)的數(shù)量。因此，對(duì)于較小的模型而言，如果用深度可分卷積替代2D卷積，模型的能力可能會(huì)顯著下降。這樣得到的模型可能是次優(yōu)的。當(dāng)然如果使用得當(dāng)，深度可分卷積能在不降低你的模型性能的前提下幫助你實(shí)現(xiàn)效率提升。

836.3卷積操作的變種6.3.2空洞卷積

空洞卷積也叫擴(kuò)張卷積或者膨脹卷積，簡(jiǎn)單來(lái)說(shuō)就是在卷積核元素之間加入一些空格(零)來(lái)擴(kuò)大卷積核的過(guò)程。通過(guò)這種方式，可以在不做池化損失信息的情況下，增大圖像的感受野，并且與常規(guī)卷積核的大小相同，參數(shù)量不變。假設(shè)以一個(gè)變量rate來(lái)衡量空洞卷積的擴(kuò)張系數(shù)，則加入空洞之后的實(shí)際卷積核尺寸與原始卷積核尺寸之間的關(guān)系為

846.3卷積操作的變種6.3.2空洞卷積

式中，k為原始卷積核大小，rate為卷積擴(kuò)張率，K為經(jīng)過(guò)擴(kuò)展后實(shí)際卷積核大小。除此之外，空洞卷積的卷積方式跟常規(guī)卷積一樣。不同擴(kuò)展率rate，卷積核的感受野不同。例如，rate=1,2,4時(shí)卷積核的感受野，如圖所示。856.3卷積操作的變種

上圖中，卷積核沒(méi)有紅點(diǎn)標(biāo)記位置為0，紅點(diǎn)標(biāo)記位置同常規(guī)卷積核。3×3的紅點(diǎn)表示經(jīng)過(guò)卷積后，輸出圖像為3×3像素。盡管所有這三個(gè)擴(kuò)張卷積的輸出都是同一尺寸，但模型觀察到的感受野有很大的不同。

網(wǎng)絡(luò)中第層卷積層或池化層的感受野大小為

式中，表示該層卷積核或池化層所用核大小，表示上一層感受野大小，表示第i層卷積或池化的步長(zhǎng)。

如果初始感受野大小為1，則

33卷積(stride=1)：r=1+(3-1)=3，感受野為33。

22池化(stride=2)：r=3+(2-1)=4，感受野為44。33卷積(stride=3)：r=4+(3-1)×2×1=8，感受野為88。

33卷積(stride=2)：r=8+(3-1)×3×2×1=20，感受野為2020。

866.3卷積操作的變種

空洞卷積的感受野計(jì)算方法和上面相同，所謂的空洞可以理解為擴(kuò)大了卷積核的大小，下面來(lái)介紹一下空洞卷積的感受野變化（卷積核大小為33，stride=1，下面的卷積過(guò)程后面的以前面的為基礎(chǔ)）：

1-dilatedconv：rate=1的卷積其實(shí)就是普通3×3卷積，因此，

，

，因此感受野為33。2-dilatedconv：rate=2可以理解為將卷積核變成了55，因此，，，感受野大小為77。876.3卷積操作的變種

可見(jiàn)，將卷積以上面的過(guò)程疊加，感受野變化會(huì)指數(shù)增長(zhǎng)，感受野大小，該計(jì)算公式是基于疊加的順序，如果單用三個(gè)的2-dilated卷積，則感受野使用卷積感受野計(jì)算公式計(jì)算(如2-dilated，相當(dāng)于5x5卷積)：第一層的2-dilated卷積：r=1+(5-1)=5。第二層的2-dilated卷積：r=5+(5-1)×1=9。第三層的2-dilated卷積：r=9+(5-1)×1×1=13。886.3卷積操作的變種6.3.33D卷積

3D卷積是在2D卷積的基礎(chǔ)上建立的，是2D卷積的泛化。下圖就是3D卷積，其過(guò)濾器深度小于輸入層深度（核大小<通道大?。?。因此，3D過(guò)濾器可以在所有三個(gè)方向（圖像的高度、寬度、通道）上移動(dòng)。在每個(gè)位置，逐元素的乘法和加法都會(huì)提供一個(gè)數(shù)值。因?yàn)檫^(guò)濾器是滑過(guò)一個(gè)3D空間，所以輸出數(shù)值也按3D空間排布。也就是說(shuō)，輸出是一個(gè)3D數(shù)據(jù)。

896.3卷積操作的變種6.3.33D卷積

與2D卷積（編碼了2D域中目標(biāo)的空間關(guān)系）類似，3D卷積可以描述3D空間中目標(biāo)的空間關(guān)系。對(duì)某些應(yīng)用（比如生物醫(yī)學(xué)影像中的3D分割/重構(gòu)），這樣的3D關(guān)系很重要，如在CT和MRI中，血管之類的目標(biāo)會(huì)在3D空間中蜿蜒曲折。

906.3卷積操作的變種6.3.4分組卷積

1.分組卷積原理

分組卷積（groupconvolution,GC）最早出現(xiàn)在AlexNet，常規(guī)的卷積操作對(duì)輸入圖像進(jìn)行整體的卷積計(jì)算，6.3.1節(jié)已展示。具有兩個(gè)濾波器組的卷積層，如圖所示。圖中，將輸入數(shù)據(jù)分成了2組（組數(shù)為g）。

注意：這種分組只是在深度（

）上進(jìn)行劃分，即某幾個(gè)通道編為一組，這個(gè)具體的數(shù)量由

決定。因?yàn)檩敵鰯?shù)據(jù)的改變，相應(yīng)的卷積核也需要做出同樣的改變。如果分成g組，則每組中卷積核的深度為

，而卷積核的大小不變，此時(shí)每組的卷積核的個(gè)數(shù)為個(gè)

，而不是原來(lái)的

。916.3卷積操作的變種

然后用每組的卷積核同它們對(duì)應(yīng)組內(nèi)的輸入數(shù)據(jù)卷積，得到輸出數(shù)據(jù)以后，再用concatenate的方式組合起來(lái)，最終的輸出數(shù)據(jù)的通道仍舊為

。也就是說(shuō)，分組數(shù)g確定后，將并行運(yùn)算g個(gè)相同的卷積過(guò)程，每個(gè)過(guò)程里（每組），輸入數(shù)據(jù)為

，卷積核大小為

，一共有

個(gè)，輸出數(shù)據(jù)為

。

（1）參數(shù)量分析

輸入特征圖的尺寸為

，輸出特征圖的通道數(shù)為

。如果被分成g組，則有每組的輸入特征圖的通道數(shù)為

,每組的輸出通道數(shù)為(因?yàn)轭A(yù)先定義了輸出的通道數(shù)為

，那么平均分給每個(gè)組的輸出特征圖數(shù)就應(yīng)該為

)。

926.3卷積操作的變種

(2)卷積核參數(shù)量

也就是說(shuō)每組需要有

個(gè)卷積核，則共有

個(gè)卷積核（總的卷積核數(shù)量同普通卷積是相同的，但由于稀疏連接，每個(gè)卷積核的參數(shù)量減少為

，卷積核的總參數(shù)量為

。

936.3卷積操作的變種

(3)計(jì)算量分析

假設(shè)經(jīng)過(guò)卷積層特征圖的大小不變，則卷積層的計(jì)算量為

式(6.2.10)表明，分組卷積可以使得卷積層的參數(shù)量和計(jì)算量都減為原來(lái)的1/g。常規(guī)卷積與分組卷積對(duì)照，如圖所示。946.3卷積操作的變種

2.分組卷積優(yōu)點(diǎn)

極大地減少了參數(shù)。例如，當(dāng)輸入通道為256，輸出通道也為256，核大小為3×3，不做分組卷積參數(shù)為256×3×3×256。實(shí)施分組卷積時(shí)，若組數(shù)為8，每個(gè)組的輸入信道和輸出信道均為32，參數(shù)為8×32×3×3×32，是原來(lái)的八分之一。而分組卷積最后每一組輸出的特征映射應(yīng)該是以連接的方式組合。

Alex認(rèn)為分組卷積的方式能夠增加濾波器之間的對(duì)角相關(guān)性，而且能夠減少訓(xùn)練參數(shù)，不容易過(guò)擬合，這類似于正則化效果。

956.3卷積操作的變種6.3.5轉(zhuǎn)置卷積

轉(zhuǎn)置卷積（transposedConvolutions）又稱反卷積（deconvolution）。注意：此處的反卷積不是數(shù)學(xué)意義上的反卷積，或者是分?jǐn)?shù)步長(zhǎng)卷積（fractiallystracedconvolutions）。之所以叫轉(zhuǎn)置卷積是因?yàn)樗鼘⒊Ｒ?guī)卷積操作中的卷積核做一個(gè)轉(zhuǎn)置，然后把卷積的輸出作為轉(zhuǎn)置卷積的輸入，而轉(zhuǎn)置卷積的輸出，就是卷積的輸入。

卷積與轉(zhuǎn)置卷積的計(jì)算過(guò)程正好相反，如圖所示。(a)普通卷積(正)(b)轉(zhuǎn)置卷積（反）966.3卷積操作的變種

常規(guī)卷積的卷積核大小為3×3，步長(zhǎng)為2，填充（padding）為1。卷積核在紅框位置時(shí)輸出元素1，在綠色位置時(shí)輸出元素2?？梢园l(fā)現(xiàn)，輸入元素a僅與一個(gè)輸出元素有運(yùn)算關(guān)系，也就是元素1，而輸入元素b與輸出元素1、2均有關(guān)系。同理，c只與一個(gè)元素2有關(guān)，而d與1、2、3、4四個(gè)元素都有關(guān)；那么在進(jìn)行轉(zhuǎn)置卷積時(shí)，依然應(yīng)該保持這個(gè)連接關(guān)系不變。

轉(zhuǎn)置卷積（反卷積）需要將圖(a)中綠色的特征圖作為輸入、藍(lán)色的特征圖作為輸出，并且保證連接關(guān)系不變。也就是說(shuō)，a只與1有關(guān)，b與1、2兩個(gè)元素有關(guān)，其它類推。怎么才能達(dá)到這個(gè)效果呢？可以先用0給綠色特征圖做插值，插值的個(gè)數(shù)就是使相鄰兩個(gè)綠色元素的間隔為卷積的步長(zhǎng)，同時(shí)邊緣也需要進(jìn)行與插值數(shù)量相等的補(bǔ)0，如圖(b)所示。

976.3卷積操作的變種這時(shí)，卷積核的滑動(dòng)步長(zhǎng)不是2而是1，步長(zhǎng)體現(xiàn)在插值補(bǔ)0的過(guò)程中。一般在CNN中，轉(zhuǎn)置卷積用于對(duì)特征圖進(jìn)行上采樣，比如想將特征圖擴(kuò)大2倍，那么就可以使用步長(zhǎng)為2的轉(zhuǎn)置卷積。

2.分組卷積優(yōu)點(diǎn)

極大地減少了參數(shù)。例如，當(dāng)輸入通道為256，輸出通道也為256，核大小為3×3，不做分組卷積參數(shù)為256×3×3×256。實(shí)施分組卷積時(shí)，若組數(shù)為8，每個(gè)組的輸入信道和輸出信道均為32，參數(shù)為8×32×3×3×32，是原來(lái)的八分之一。而分組卷積最后每一組輸出的特征映射應(yīng)該是以連接的方式組合。

Alex認(rèn)為分組卷積的方式能夠增加濾波器之間的對(duì)角相關(guān)性，而且能夠減少訓(xùn)練參數(shù)，不容易過(guò)擬合，這類似于正則化效果。

986.3卷積操作的變種

為了更好地理解轉(zhuǎn)置卷積，定義w為卷積核，Large為輸入圖像，Small為輸出圖像。經(jīng)過(guò)卷積（矩陣乘法）后，將大圖像下采樣為小圖像。這種矩陣乘法的卷積實(shí)現(xiàn)w×Large=Small，如圖所示。它將輸入平展為16×1的矩陣，并將卷積核轉(zhuǎn)換為一個(gè)（4×16）稀疏矩陣。然后，在稀疏矩陣和平展的輸入之間使用矩陣乘法。之后，再將所得到的矩陣（4×1）轉(zhuǎn)換為2×2的輸出。

卷積的矩陣乘法：將Large輸入圖像(4×4)轉(zhuǎn)換為Small輸出圖像(2×2)。996.3卷積操作的變種

現(xiàn)在，如果等式的兩邊都乘上矩陣的轉(zhuǎn)置T，并借助“一個(gè)矩陣與其轉(zhuǎn)置矩陣的乘法得到一個(gè)單位矩陣”這一性質(zhì)，那么就能得到T×Small=Large，如圖所示。1006.3卷積操作的變種6.3.6平鋪卷積

平鋪卷積是介于局部卷積和常規(guī)卷積之間，與局部卷積相同之處在于相鄰的單元具有不同的參數(shù)；與其區(qū)別在于，會(huì)有t個(gè)不同的卷積核循環(huán)使用，也就是說(shuō)相隔為t的卷積核，就會(huì)共享參數(shù)。

圖中，S為卷積核；x為特征值；相鄰的卷積核都有各自的參數(shù)；但每隔t個(gè)（圖中t=2）卷積核，參數(shù)就會(huì)重復(fù)使用。1016.3卷積操作的變種6.3.8卷積運(yùn)算的核心思想

卷積運(yùn)算主要通過(guò)三個(gè)重要的思想來(lái)幫助改進(jìn)機(jī)器學(xué)習(xí)系統(tǒng)：稀疏交互（spars