《計算機視覺》 課件 6、紋理分析

計算機視覺主編胡永利副主編段福慶王爽參編王少帆權(quán)豆姜華杰郭巖河戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材機械工業(yè)出版社6、紋理分析什么是紋理特征經(jīng)典的紋理分析方法共生矩陣Gabor小波

基于深度學習的紋理分析T-CNNPCANet什么是紋理特征(Texture)紋理是日常生活中不可或缺的一部分，其通常體現(xiàn)為物體表面的觸感或視覺感知。它是對物體表面感知和理解的基礎(chǔ)，也是描述和區(qū)分不同物體的重要特征之一。一般將組成紋理的基本元素稱為紋理基元或紋元。

紋理最明顯的視覺特征是粗糙性、方向性和周期性。粗糙性指紋理表面的細節(jié)程度，可以是細膩的或粗糙的。方向性表示紋理中存在特定方向的元素或模式，可以是水平、垂直或斜向的。周期性指紋理中的元素或模式在空間中以某種規(guī)律重復出現(xiàn)。這些視覺特征對于紋理的識別和描述起著重要的作用，也是紋理特征提取方法的基礎(chǔ)。多個紋理區(qū)域的圖象什么是紋理特征(Texture)什么是紋理特征(Texture)盡管對紋理的定義沒有統(tǒng)一準確的答案，但紋理作為圖像的一個重要屬性，在計算機視覺和圖像處理中扮演著關(guān)鍵的角色。紋理的研究和分析對于理解物體表面屬性、開發(fā)紋理相關(guān)應用以及推動相關(guān)領(lǐng)域的發(fā)展具有重要意義。從醫(yī)學影像到遙感影像處理，紋理分析是許多任務的重要組成部分。6、紋理分析什么是紋理特征經(jīng)典的紋理分析方法共生矩陣Gabor小波

基于深度學習的紋理分析T-CNNPCANet經(jīng)典的紋理分析方法紋理分析指通過一定的圖像處理技術(shù)提取出紋理特征參數(shù)，從而獲得紋理的定量或定性描述的處理過程。紋理分類的方法有很多，可以分為統(tǒng)計方法、結(jié)構(gòu)方法、模型方法和變換方法。本節(jié)介紹兩種經(jīng)典的紋理分析方法，分別是基于灰度共生矩陣和基于gabor小波的紋理分析方法。樹輪紋理冰晶紋理灰度共生矩陣(GLDM)的統(tǒng)計方法是20世紀70年代初由R.Haralick等人提出，其在假定圖像中各像素間的空間分布關(guān)系包含了圖像紋理信息的前提下，提出了具有廣泛性的紋理分析方法。對于具有G個灰度級的圖像，受位移矢量d=(dx,dy)控制的灰度級共生矩陣Pd是一個的GXG矩陣，矩陣行列表示各個灰度級，矩陣元素反映兩種灰度在相距一定距離的位置上同時出現(xiàn)的次數(shù)。

灰度共生矩陣定義方向為θ，間隔為d的灰度共生矩陣[??(??,??,??,θ)]_(??×??)，??(??,??,??,θ)為共生矩陣第i行第j列元素的值,它是以灰度級i為起點,在給定空間距離d和方向θ時,出現(xiàn)灰度級j的概率。L為灰度級的數(shù)目,θ一般取0°、45°、90°、135°等方向,以0_??軸為起始,逆時針方向計算。右圖(a)為一幅4×5圖像,當給定d=1，θ為0°時，右圖(b)為其對應的共生矩陣。灰度共生矩陣灰度共生矩陣度量灰度共生矩陣

二維Gabor濾波器Gabor小波除了統(tǒng)計分析方法，在紋理分析中還常使用信號處理方法?；谛盘柼幚淼募y理分析方法首先對紋理圖像進行頻域或空域濾波處理，然后進行分析和解釋。Gabor函數(shù)是一個用于邊緣提取的線性濾波器。在空間域中，一個二維Gabor濾波器是一個由正弦平面波調(diào)制的高斯核函數(shù)

二維Gabor濾波器Gabor小波Gabor變換雖然解決了局部分析的問題，但對于突變信號和非平穩(wěn)信號來說，其結(jié)果仍不盡如人意。這是因為Gabor變換的時頻窗口大小和形狀固定不變，只有位置在變化，這限制了其在某些情況下的適用性。在實際應用中，我們通常希望時頻窗口的大小和形狀能夠根據(jù)頻率的變化而變化，這樣可以更好地適應不同頻率成分的特點。二維Gabor濾波器Gabor小波小波變換（WaveletTransform）是一種信號處理技術(shù)，將信號分解成不同尺度（頻率）和不同位置（時間）上的小波基函數(shù)的系數(shù)，從而可以同時獲得信號在頻域和時域的信息。這些小波基函數(shù)是基于母小波函數(shù)通過平移和縮放而得到的，因此可以適應不同頻率和時間尺度的信號特征。

二維Gabor濾波器Gabor小波一個Gabor核函數(shù)能獲取到圖像某個頻率鄰域的響應情況，這個響應結(jié)果可以看作為圖像的一個特征。那么，我們?nèi)绻枚鄠€不同頻率的Gabor核去獲取圖像在不同頻率鄰域的響應情況，最后就能形成圖像在各個頻率段的特征，這個特征就可以描述圖像的頻率信息。為了獲取不同紋理的特征，通常選取一組具有不同主頻的窄帶帶通Gabor濾波器提取圖像中的紋理特征。上圖展示了一系列具有不同頻率的Gabor核，用這些核與圖像卷積，我們就能得到圖像上每個點和其附近區(qū)域的紋理特征情況。6、紋理分析什么是紋理特征經(jīng)典的紋理分析方法共生矩陣Gabor小波

基于深度學習的紋理分析T-CNNPCANet深度學習對紋理分析方法起著重要作用。在過去的幾十年里，傳統(tǒng)的紋理分析方法在很大程度上取得了顯著的進展，然而，隨著深度學習的興起，尤其是卷積神經(jīng)網(wǎng)絡(luò)的成功應用，紋理分析領(lǐng)域也迎來了一場革命性的變革，相對于傳統(tǒng)的機器學習方法如K近鄰，支持向量機等，深度學習具有非凡的感知模式的能力，即能夠以自動特征學習，處理大規(guī)模數(shù)據(jù)，更好處理復雜的非線性問題以及預測性能更好。本節(jié)將從兩個經(jīng)典網(wǎng)絡(luò)方面深入探討基于深度學習的紋理分析方法，以及它們在不同領(lǐng)域的應用。深度學習的強大能力在圖像處理任務中取得了巨大成功，而紋理分析作為其中一個重要的子領(lǐng)域，也迎來了新的機遇和挑戰(zhàn)。

深度學習的興起TCNN使用VGG19網(wǎng)絡(luò)（如下圖所示）作為主干網(wǎng)絡(luò)，使用VGG-19的16個卷積層和5個池化層，沒有使用全連接層。其中卷積層大小為3×3×k，k為輸入特征通道數(shù)。卷積的步長和填充大小都為1，其輸出輸入的特征圖尺寸不變。池化操作中池化大小為2×2，步長為2，池化操作可以將特征圖大小下采樣至原尺寸的一半。卷積和池化操作交替進行，若干個卷積層之后是池化層。經(jīng)過池化層之后，特征圖的尺寸減半，通道數(shù)量翻倍。

T-CNNVGG-19網(wǎng)絡(luò)結(jié)構(gòu)圖T-CNN要從給定的圖像中生成新的紋理圖像，首先要從該圖像中提取多尺度的特征。然后計算特征的空間統(tǒng)計特性，以獲得圖像紋理的靜態(tài)描述。在TCNN中，為了描述給定圖像的紋理特征，首先將其輸入卷積神經(jīng)網(wǎng)絡(luò)，得到每層的特征圖。由紋理的定義可知，紋理是靜態(tài)的，其與空間位置無關(guān)。不同特征圖之間的相關(guān)性能夠給出空間位置無關(guān)的統(tǒng)計量。TCNN使用Gram矩陣描述特征之間的相關(guān)性，計算方法如下式所示：

TCNN框架圖

T-CNN

TCNN框架圖為了在給定圖像的基礎(chǔ)上生成新的紋理，TCNN使用梯度下降法從白噪聲圖像中找到與原始圖像的Gram矩陣表示相匹配的另一幅圖像。具體來說，其通過最小化原始圖像的Gram矩陣與生成圖像的Gram矩陣之間的均方距離實現(xiàn)。第L層損失函數(shù)如下所示：

紋理生成結(jié)果展示

T-CNN

下圖展示了由TCNN從五張不同的源圖像生成的具有相同紋理的圖片，可以看出，TCNN生成的圖像與原始圖像的紋理具有高度一致性。源圖像TCNN生成圖像

PCANetPCANet包含三個階段，前兩個階段為堆疊的PCA濾波過程，第三階段為輸出階段，對第二階段的輸出進行二值哈希操作和直方圖統(tǒng)計得到最終輸出特征。

PCANet使用MultiPIE數(shù)據(jù)集里組裝面部數(shù)據(jù)集來訓練出PCANet模型，將其在擴展過的耶魯B數(shù)據(jù)集上測試，在測試圖像中，通過用一個與之無關(guān)的圖像替換每個測試圖像中隨機位置的方塊來模擬從0%到80%不同級別的連續(xù)遮擋。不同遮擋程度的人臉測試圖下左圖所示：不同遮擋程度的人臉測試圖像

PCANet使用MultiPIE數(shù)據(jù)集里組裝面部數(shù)據(jù)集來訓練出P