BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像壓縮

機(jī)器學(xué)習(xí)（ML第11組）

圖像壓縮（BP神經(jīng)網(wǎng)絡(luò)）神經(jīng)網(wǎng)絡(luò)應(yīng)用手寫數(shù)字識(shí)別(概率神經(jīng)網(wǎng)絡(luò))求解最優(yōu)策略（利用基于值迭代的MDP算法求解最優(yōu)策略）馬爾科夫決策過(guò)程應(yīng)用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像壓縮唐璇E13201073羅威亞E13201055Contents問(wèn)題背景1BP神經(jīng)網(wǎng)絡(luò)建模2BP神經(jīng)網(wǎng)絡(luò)壓縮的實(shí)現(xiàn)3結(jié)果與分析4問(wèn)題背景常見的文件壓縮軟件如WinZip、WinRAR等采用的是無(wú)損壓縮，能夠完全恢復(fù)原文件內(nèi)容。多媒體信息具有信息量大、冗余信息多的特點(diǎn)，往往采用有損壓縮技術(shù)。JPEG壓縮（變換編碼與熵編碼）基于小波變換的圖像壓縮算法分形壓縮編碼矢量量化壓縮編碼圖像壓縮算法問(wèn)題背景BP神經(jīng)網(wǎng)絡(luò)是一種多層前向神經(jīng)網(wǎng)絡(luò)，是整個(gè)人工神經(jīng)網(wǎng)絡(luò)體系中的精華，廣泛應(yīng)用于分類識(shí)別、逼近、回歸和壓縮。實(shí)際應(yīng)用中80%的神經(jīng)網(wǎng)絡(luò)模型采取了BP網(wǎng)絡(luò)或者BP的變化形式。BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖像壓縮，依賴BP網(wǎng)絡(luò)的非線性映射能力進(jìn)行數(shù)據(jù)壓縮。實(shí)驗(yàn)結(jié)果表明，采用BP神經(jīng)網(wǎng)絡(luò)對(duì)灰度圖像進(jìn)行壓縮，在保證較好峰值信噪比（PSNR）的情況下，達(dá)到了較高的壓縮比。BP神經(jīng)網(wǎng)絡(luò)建模（模型的壓縮原理）BP神經(jīng)網(wǎng)絡(luò)用于壓縮的網(wǎng)絡(luò)模型構(gòu)建：采用一個(gè)隱含層，則整體構(gòu)成一個(gè)三層的網(wǎng)絡(luò)。把一組輸入模式通過(guò)少量的隱含層單元映射到一組輸出模式，并使輸出模式盡可能等于輸入模式。（隱含層神經(jīng)元的值和相應(yīng)的權(quán)值向量可以輸出一個(gè)與原輸入模式相同的向量）輸入層隱含層輸出層

解碼

編碼補(bǔ)充：理論已經(jīng)證明，單個(gè)隱含層的網(wǎng)絡(luò)可以通過(guò)適當(dāng)增加神經(jīng)元節(jié)點(diǎn)的個(gè)數(shù)實(shí)現(xiàn)任意非線性映射。所以，單個(gè)隱含層可滿足大部分應(yīng)用需要。壓縮原理：當(dāng)隱含層神經(jīng)元的個(gè)數(shù)較少時(shí)，就意味著隱含層能用更少的數(shù)來(lái)表現(xiàn)輸入模式，而這，實(shí)際上就是壓縮。BP神經(jīng)網(wǎng)絡(luò)建模（壓縮解壓過(guò)程）假設(shè)網(wǎng)絡(luò)的輸入層和輸出層均有M個(gè)神經(jīng)元組成，隱含層包含I個(gè)神經(jīng)元，且I<M，則輸入模式必須進(jìn)行壓縮編碼，結(jié)果保存在隱含層。輸入層到隱含層的變換相當(dāng)于壓縮的編碼過(guò)程；隱含層到輸出層的變換相當(dāng)于壓縮的解碼過(guò)程。編碼編碼結(jié)果解碼輸入層，M個(gè)神經(jīng)元隱含層，I個(gè)神經(jīng)元，I<M輸出層，M個(gè)神經(jīng)元輸入數(shù)據(jù)重建數(shù)據(jù)BP神經(jīng)網(wǎng)絡(luò)建模（圖像壓縮編碼）輸入圖像數(shù)據(jù)：假設(shè)圖像為像素N×N大小，以K×K為單位進(jìn)行劃分，將圖像細(xì)分為一個(gè)個(gè)圖像塊。圖像塊中每一個(gè)像素點(diǎn)與一個(gè)輸入或輸出神經(jīng)元相對(duì)應(yīng)，如下模型。樣本學(xué)習(xí)：網(wǎng)絡(luò)隨機(jī)地抽取圖像中各K×K圖像塊作為學(xué)習(xí)模式，使用反向傳播算法進(jìn)行學(xué)習(xí)，通過(guò)調(diào)整網(wǎng)絡(luò)中神經(jīng)元之間的連接權(quán)值，使訓(xùn)練集圖像的重建誤差E=f-g的均值達(dá)到最小。訓(xùn)練好的網(wǎng)絡(luò)隱含層神經(jīng)元矢量便是數(shù)據(jù)壓縮的結(jié)果，而輸出層神經(jīng)元矢量便是重建后的數(shù)據(jù)。原始圖像重建圖像K×KK×KBP神經(jīng)網(wǎng)絡(luò)建模BP網(wǎng)絡(luò)的計(jì)算模型{wij,bj}x2x3xM

y1y2y3yM{wji,bi}hjx1編碼過(guò)程解碼過(guò)程隱含層第j個(gè)神經(jīng)元輸出值：輸出層第i個(gè)神經(jīng)元輸出值：BP神經(jīng)網(wǎng)絡(luò)壓縮的實(shí)現(xiàn)圖像塊劃分歸一化BP網(wǎng)絡(luò)訓(xùn)練保存結(jié)果將圖像的二維矩陣分成K×K的一個(gè)個(gè)塊，輸出K^2×N矩陣（樣矩陣）除以255，得數(shù)據(jù)位于0~1之間。（這樣能提高壓縮率，灰度圖像的灰度值0~255）采用神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)feedforward創(chuàng)建前向BP網(wǎng)絡(luò)采用LM訓(xùn)練法（收斂快）net的權(quán)值net的閾值每個(gè)圖像塊對(duì)應(yīng)的隱含層單元的輸出壓縮步驟：256×25616×4096BP神經(jīng)網(wǎng)絡(luò)壓縮的實(shí)現(xiàn)load圖像塊重建（BP網(wǎng)絡(luò)解碼）反歸一化圖像塊恢復(fù)載入壓縮文件的數(shù)據(jù)預(yù)處理fori=1:4096Y(:,i)=com.lw*(com.d(:,i))+com.b;end乘上25516×4096矩陣的每一列抽取出來(lái)，重新排列4×4矩陣，并對(duì)4×4矩陣按行排列以恢復(fù)圖像。PSNRRATE解壓縮步驟：結(jié)果BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（N=4）：程序設(shè)計(jì)：兩個(gè)函數(shù)block_divide函數(shù)，用于圖像塊劃分，形成K^2*N矩陣re_divide函數(shù)，用于圖像塊恢復(fù)腳本文件bp_imageCompress.m腳本負(fù)責(zé)壓縮lena.bmp圖像（需要調(diào)用block_divide圖像劃分函數(shù)），壓縮結(jié)果保存于comp.mat中bp_imageRecon.m腳本負(fù)責(zé)解壓comp.mat（需要調(diào)用re_divide圖像塊恢復(fù)函數(shù)）ｔｒａｉｎ訓(xùn)練函數(shù)確定了輸入輸出層向量的維數(shù)結(jié)果原始圖像lena.bmp：重建圖像：塊與塊之間差異較大，即出現(xiàn)塊效應(yīng)現(xiàn)象。PSNR:32.4148rate:0.1465分析現(xiàn)象：正如剛剛所看到的，塊與塊之間差異較大，即出現(xiàn)塊效應(yīng)現(xiàn)象。這是由于設(shè)計(jì)的算法將圖像強(qiáng)行分割為4×4的塊，并分別進(jìn)行訓(xùn)練，所以出現(xiàn)塊效應(yīng)現(xiàn)象。壓縮比率：由于后續(xù)沒有進(jìn)行熵編碼等原因，算法的壓縮比率（14%）并不高。圖像質(zhì)量：峰值信噪比（PSNR）為32.4148，其實(shí)修改算法的參數(shù)(如改變隱含層神經(jīng)元個(gè)數(shù))可以調(diào)節(jié)圖像壓縮的質(zhì)量。TablePSNRrateN=130.87960.0507N=231.81810.0897N=432.41180.1465N=631.99620.2030N=831.10150.2512N=1030.74710.3158N=1228.20560.3219N=1431.90630.4148壓縮比提高，但圖像質(zhì)量降低重建效果對(duì)比（部分）N=1：N=2：N=4：N=10：壓縮率最高重建質(zhì)量