基于神經(jīng)網(wǎng)絡(luò)(BP神經(jīng)網(wǎng)絡(luò),CNN)和集成學(xué)習(xí)的手寫字符識別

1、基于神經(jīng)網(wǎng)絡(luò)和集成學(xué)習(xí)的字符識別文字是人類表達(dá)和交流信息的重要工具之一，不論是在生產(chǎn)還是日常生活中，人們都要接觸和處理大量的文字信息。字符識別能夠?qū)⒆址咚?、快效的輸入到計算機(jī)系統(tǒng)，實(shí)現(xiàn)人機(jī)交互，減輕人們的勞動，將人力從枯燥冗雜的工作中解放出來，提高處理效率，因而具有重要的研究價值。CONTENTSONE 研究意義TWO 研究相關(guān)神經(jīng)網(wǎng)絡(luò)識別文字研究的意義，目的，識別文字能夠進(jìn)行的相關(guān)工作。研究主要涉及的領(lǐng)域、研究中所使用的相關(guān)理論、以及研究所使用的技術(shù)和方法。THREE 研究結(jié)果FOUR 算法改進(jìn)到目前為止，研究的結(jié)果，使用神經(jīng)網(wǎng)絡(luò)對字符進(jìn)行識別能達(dá)到的效果。對前面所述的研究進(jìn)行創(chuàng)新性的改進(jìn)

2、，使得能夠更高效地識別，主要有四種改進(jìn)。FIVE 擴(kuò)展及實(shí)際運(yùn)用對算法的進(jìn)行實(shí)際運(yùn)用性的擴(kuò)展，以及實(shí)際運(yùn)用。01研究意義神經(jīng)網(wǎng)絡(luò)識別文字研究的意義，目的，識別文字能夠進(jìn)行的相關(guān)工作。簡化文字輸入字符識別能夠?qū)⒆址咚?、快效的輸入到計算機(jī)系統(tǒng)，實(shí)現(xiàn)人機(jī)交互，減輕人們的勞動，將人力從枯燥冗雜的工作中解放出來，提高處理效率，因而具有重要的研究價值。車牌號碼識別車牌智能自動識別作為智能交通管理系統(tǒng)中的重要組成部分，應(yīng)用非常廣泛，高速公路收費(fèi)管理、超速違章自動拍照、停車場管理、小區(qū)進(jìn)出車輛管理、交通數(shù)據(jù)采集等許多系統(tǒng)中都需要識別車牌號碼?？爝f信息錄入快遞信息錄入能夠極大地減輕快遞工作人員文字信息錄入的工

3、作，使得工作人員能夠從辛苦、單一無聊的工作中解放出來，有效地加速中國快遞業(yè)的發(fā)展。郵件文字錄入在傳統(tǒng)模式郵件寄送過程中，郵件的分類主要靠人工閱讀并分類，再往各個地區(qū)發(fā)送，整個過程費(fèi)時耗力。近年來，著計算機(jī)理論與技術(shù)為背景的人工智能運(yùn)用的不斷普及，使得機(jī)器錄入成為現(xiàn)實(shí)。SIGNIFICANCE OF RESEARCH研究意義S R02研究相關(guān)研究主要涉及的領(lǐng)域、研究中所使用的相關(guān)理論、以及研究所使用的技術(shù)和方法。DOMAIN OF KNOWLEDGE領(lǐng)域D K機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專

4、門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心。人工智能(Artificial Intelligence, AI)，是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。21 世紀(jì)，已經(jīng)取得了長足的進(jìn)步，但是到目前為止，還沒有一臺計算機(jī)能產(chǎn)生“自我”的意識。深度學(xué)習(xí)深度學(xué)習(xí)(Deep Learning, DL)是機(jī)器學(xué)習(xí)中一種基于對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個像素強(qiáng)度值的向量，或者更抽象地表示成一系列邊、特定形狀的區(qū)域等。機(jī)器學(xué)習(xí)人

5、工智能集成學(xué)習(xí)集成學(xué)習(xí)(ensemble learning)集成學(xué)習(xí)是使用一系列學(xué)習(xí)器進(jìn)行學(xué)習(xí)，并使用某種規(guī)則把各個學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個學(xué)習(xí)器更好的學(xué)習(xí)效果的一種機(jī)器學(xué)習(xí)方法。THE TWO NEURAL NETWORK OF RECGNIZATION兩種神經(jīng)網(wǎng)絡(luò)M R反向傳播神經(jīng)網(wǎng)絡(luò)向傳播(back propagation, BP)算法是1986年由Hinton和McClelland為首的科學(xué)家提出的概念。BP神經(jīng)網(wǎng)絡(luò)是一種采用這種算法進(jìn)行高效訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是目前應(yīng)用最強(qiáng)大最廣泛的神經(jīng)網(wǎng)絡(luò)之一。卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Netwo

6、rk, CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。一般包括卷積層(convolutional layer)、池化層(pooling layer)和全連接層(dense layer)。THE TWO FRAME OF NEURAL NETWORK兩種框架F NTensorFlowTensorFlow 是一個采用數(shù)據(jù)流圖（data flow graphs），用于數(shù)值計算的開源軟件庫。節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作，圖中的線（edges）則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。它靈活的架構(gòu)讓你可以在多種平臺上

7、展開計算，例如臺式計算機(jī)中的一個或多個CPU（或GPU），服務(wù)器，移動設(shè)備等等。KerasKeras 是一種高度模塊化，使用簡單上手快，合適深度學(xué)習(xí)初學(xué)者使用的深度學(xué)習(xí)框架。Keras由純Python編寫而成并以Tensorflow、Theano以及CNTK為后端。Keras為支持快速實(shí)驗(yàn)而生，能夠把你的idea迅速轉(zhuǎn)換為結(jié)果。03研究結(jié)果到目前為止，研究的結(jié)果，使用神經(jīng)網(wǎng)絡(luò)對字符進(jìn)行識別能達(dá)到的效果。BP-NNBP神經(jīng)網(wǎng)絡(luò)B NCONVOLUTIONAL NEURAL NETWORK卷積神經(jīng)網(wǎng)絡(luò)B NCOMMITTEE OF NEURAL NETWORKS神經(jīng)網(wǎng)絡(luò)集成C NTHE CURVE

8、 OF ERROR誤差曲線(mnist)E RTHE ERROR RATE OF RECOGNITION誤差率(mnist)E R97.3%搭建BP-NN搭建組合BP-NN搭建CNN+調(diào)參搭建組合CNNInput(Batch_size*28*28) -Dense(1024) -Relu activation -Dense(10) -Softmax activation -Output(10) Input - Conv2d - Pooling - relu -Conv2d - Pooling - relu -Flat - dense - dense -OutputMulti-(Input - C

9、onv2d - Pooling - relu -Conv2d - Pooling - relu -Flat - dense - dense - Output)- Combination- Final outputMulti-(Input - Dense(1024) - Relu activation -Dense(10) - Softmax activation - Output(10) )- Combination- Final output98.3%99.1%99.4%04算法改進(jìn)對前面所述的研究進(jìn)行創(chuàng)新性的改進(jìn)，使得能夠更高效地識別，主要有四種改進(jìn)。在傳統(tǒng)CNN上添加了DropOut、R

10、egularization、Batch Normalization 優(yōu)化層。優(yōu)化層傳統(tǒng)為sigmod、tanh，本文采用ReLU、PReLU、Leakly ReLU等激活函數(shù)激活函數(shù)傳統(tǒng)優(yōu)化器為SGD、Momentum，采用Adam優(yōu)化器進(jìn)行神經(jīng)網(wǎng)絡(luò)的優(yōu)化優(yōu)化器010203IMPROVEMENT OF ALGORITHM神經(jīng)網(wǎng)絡(luò)參數(shù)改進(jìn)I A殘差網(wǎng)絡(luò)(residual network, ResNet)，通過殘差網(wǎng)絡(luò)，可以把網(wǎng)絡(luò)層弄的很深，現(xiàn)在達(dá)到了1000多層，最終的網(wǎng)絡(luò)分類的效果也是令人十分滿意。ResNet緊接卷積神經(jīng)網(wǎng)絡(luò)(Densely Connected Convolutional N

11、etworks,DenseNet)，可以看做是ResNet的一個特例，通過緊密連接，能夠減輕梯度消失。DenseNetHarmonica算法是優(yōu)秀一種調(diào)參算法，十分高效，并且能夠適應(yīng)于幾乎一切場景。在機(jī)器學(xué)習(xí)里面，調(diào)參尤其重要。HarmonicaBagging算法是一種集成學(xué)習(xí)算法。因?yàn)閱我荒Ｐ途哂芯窒扌裕魏我环N模型，都有其缺陷，通過多模型組合能夠趨近完美。盡管是很簡單的思想，但其所帶來的效果令人驚嘆。Bagging01020304IMPROVEMENT OF ALGORITHM算法改進(jìn)I A 原因/理由：單一模型具有局限性 。 任何一種模型，都有其缺陷，通過多模型組合能夠趨近完美。 啟發(fā)：

12、某一次聽說有人用多分類器跑mnist到100%正確率。一個計算天才去算10000道四則運(yùn)算題，很大某一道題可能會犯錯，那么他就只能算是趨近完美。但如果十個計算天才一起去做這10000道題，每道題由多數(shù)人投票決定，那么，最終的效果必定是更優(yōu)秀的 。盡管是很簡單的思想，但其所帶來的效果令人驚嘆。(Error: 0.9% - 0.6%）因?yàn)閱我荒Ｐ偷木鸵呀?jīng)足夠優(yōu)秀，所以數(shù)字上反應(yīng)并不明顯CONBINATION CLASSIFICATION MODEL集成學(xué)習(xí)-BaggingC M1. 在參數(shù)空間中，隨機(jī)采樣（比如）100 個點(diǎn)2.對每個點(diǎn)計算低度數(shù)傅里葉基的特征向量，捕捉參數(shù)之間的相關(guān)性3.對于計算

13、好的 100 個特征向量，跑拉鎖算法，得到（比如） 5 個重要的特征，以及這些特征對應(yīng)的參數(shù)4.固定這些參數(shù)的值，得到了新的調(diào)參數(shù)問題（參數(shù)個數(shù)減少，搜索空間降低）。5. 回到第一步。重復(fù)若干輪之后，固定了很多參數(shù)的值，得到令人滿意的參數(shù)Harmonica 調(diào)參算法H A論文：論文：Hyperparameter Optimization: A Spectral Approach/abs/1706.00764Instead of hoping each few stacked layers directly fit a desired underlying map

14、ping, we explicitly let these layers fit a residual mapping. Formally, denoting the desired underlying mapping as H(x),we let the stacked nonlinear layers fit another mapping of F(x): H(x)-x. The original mapping is recast into F(x)+x.并不通過簡單的stack的方式把網(wǎng)絡(luò)的深度增加就可以提高performance(因?yàn)樘荻认?彌散問題、神經(jīng)退化問題(神經(jīng)元或其他

15、失效)。假設(shè)原本期望的映射函數(shù)為H(x)，我們讓堆疊的非線性層去擬合另一個映射F(x):H(x)- x，而原來函數(shù)映射則變?yōu)镕(x)+ x。學(xué)習(xí)到的F(x)即為殘差。殘差：殘差在數(shù)理統(tǒng)計中是指實(shí)際觀察值與估計值（擬合值）之間的差?！皻埐睢碧N(yùn)含了有關(guān)模型基本假設(shè)的重要信息。如果回歸模型正確的話， 我們可以將殘差看作誤差的觀測值。RESIDUAL NETWORK殘差網(wǎng)絡(luò)R N論文：論文：Deep Residual Learning for Image RecognitionCVPR2015/2016 最佳論文最佳論文 /abs/1512.03385For each

16、layer, the feature maps of all preceding layers are treated as separate inputs whereas its own feature maps are passed on as inputs to all subsequent layers.一個詞概括就是：Dense，多層神經(jīng)網(wǎng)絡(luò)組合成一個Dense Block，每一個Dense Block都緊密相連。DENSELY CONNECTED CONVOLUTION NETWORK緊接卷積網(wǎng)絡(luò)D N論文：論文：Densely Connected Convolutional NetworksCPVR2017最佳論文最佳