機(jī)器視覺(jué)檢測(cè)分解

研究背景：產(chǎn)品表面質(zhì)量是產(chǎn)品質(zhì)量的重要構(gòu)成部分，也是產(chǎn)品商業(yè)價(jià)值的重要保障。產(chǎn)品表面缺點(diǎn)檢測(cè)技術(shù)從最初的依靠人工目視檢測(cè)到現(xiàn)在以CCD和數(shù)字圖像解決技術(shù)為代表的計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)，大致經(jīng)歷了三個(gè)階段，分別是傳統(tǒng)檢測(cè)技術(shù)階段、無(wú)損檢測(cè)技術(shù)階段、計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)階段。[]傳統(tǒng)檢測(cè)技術(shù)人工目視檢測(cè)法頻閃檢測(cè)法無(wú)損檢測(cè)技術(shù)渦流檢測(cè)法紅外檢測(cè)法漏磁檢測(cè)法計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)激光掃描檢測(cè)法CCD檢測(cè)法采用熒光管等照明設(shè)備，以一定方向照射到物體表面上，使用CCD攝像機(jī)來(lái)掃描物體表面，并將獲得的圖像信號(hào)輸入計(jì)算機(jī)，通過(guò)圖像預(yù)解決、缺點(diǎn)區(qū)域的邊沿檢測(cè)、缺點(diǎn)圖像二值化等圖像解決后，提取圖像中的表面缺點(diǎn)的有關(guān)特性參數(shù)，再進(jìn)行缺點(diǎn)圖像識(shí)別，從而判斷出與否存在缺點(diǎn)及缺點(diǎn)的種類信息等。優(yōu)點(diǎn)：實(shí)時(shí)性好，精確度高，靈活性好，用途易于擴(kuò)充，非接觸式無(wú)損檢測(cè)?；跈C(jī)器視覺(jué)的缺點(diǎn)檢測(cè)系統(tǒng)優(yōu)點(diǎn)：集成化生產(chǎn)縮短產(chǎn)品進(jìn)入市場(chǎng)時(shí)間改善生產(chǎn)流程100%質(zhì)量確保實(shí)時(shí)過(guò)程監(jiān)控提高產(chǎn)量精確檢測(cè)100%檢測(cè)由于經(jīng)濟(jì)和技術(shù)因素國(guó)內(nèi)絕大多數(shù)圖像解決技術(shù)公司都以代理國(guó)外產(chǎn)品為主，沒(méi)有或者極少涉足擁有自主知識(shí)產(chǎn)權(quán)的機(jī)器視覺(jué)在線檢測(cè)設(shè)備，對(duì)視覺(jué)技術(shù)的開(kāi)發(fā)應(yīng)用停留在比較低端的小系統(tǒng)集成上，對(duì)需要進(jìn)行大數(shù)據(jù)量的實(shí)時(shí)在線檢測(cè)的研究極少也極少有成功案例，但是隨著國(guó)內(nèi)經(jīng)濟(jì)發(fā)展和技術(shù)手段不停提高對(duì)產(chǎn)品質(zhì)量檢測(cè)規(guī)定就更高，對(duì)在線檢測(cè)設(shè)備的需求也就更大含有巨大的市場(chǎng)潛力。機(jī)器視覺(jué)圖像解決技術(shù)是視覺(jué)檢測(cè)的核心技術(shù)鑄件常見(jiàn)缺點(diǎn)：砂眼氣孔縮孔披縫粘砂冷隔掉砂毛刺澆局限性缺點(diǎn)變形問(wèn)題的提出：水漬、污跡等不屬于鑄件缺點(diǎn)，但由于其外觀形貌與缺點(diǎn)非常類似,因此易被檢測(cè)系統(tǒng)誤識(shí)為缺點(diǎn)。從現(xiàn)在發(fā)表的文獻(xiàn)來(lái)看，對(duì)于偽缺點(diǎn)的識(shí)別率較低。不同種缺點(diǎn)之間可能存在形狀、紋理等方面的相似性，造成缺點(diǎn)誤判。國(guó)外研究發(fā)呈現(xiàn)狀：20世紀(jì)90年代后，基于機(jī)器視覺(jué)檢測(cè)系統(tǒng)的自動(dòng)化功效和實(shí)用化水平得到了進(jìn)一步的提高。1990年芬蘭RautaruukkiNewTechnology公司研制了Smartivis表面檢測(cè)系統(tǒng)[]，該系統(tǒng)含有自學(xué)習(xí)分類功效，應(yīng)用機(jī)器學(xué)習(xí)辦法對(duì)決策樹(shù)構(gòu)造進(jìn)行自動(dòng)設(shè)計(jì)優(yōu)化。1996年美國(guó)Cognex公司研發(fā)了一套iLearn自學(xué)習(xí)分類器軟件系統(tǒng)并應(yīng)用于其研制了iS-自動(dòng)檢測(cè)系統(tǒng)。通過(guò)這兩套系統(tǒng)的無(wú)縫銜接，極大地提高了檢測(cè)系統(tǒng)實(shí)時(shí)的運(yùn)算速度，有效的改善了傳統(tǒng)自學(xué)習(xí)分類辦法在算法執(zhí)行速度、數(shù)據(jù)實(shí)時(shí)吞吐量、樣本訓(xùn)練集規(guī)模及模式特性自動(dòng)選擇等方面的局限性之處[]。年P(guān)arsytec公司公布了新一代表面質(zhì)量檢測(cè)產(chǎn)品Parsytec5i，該系統(tǒng)運(yùn)用了自學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)分類辦法進(jìn)行缺點(diǎn)分類，將表面質(zhì)量信息輸入到支持決策信息中，不僅能夠?qū)Ξa(chǎn)品的表面質(zhì)量進(jìn)行檢測(cè)和評(píng)價(jià)，還能預(yù)測(cè)潛在質(zhì)量問(wèn)題，并將檢測(cè)信息提供應(yīng)使用者進(jìn)行整合和運(yùn)用[]國(guó)內(nèi)研究發(fā)呈現(xiàn)狀：北航周正干等人提出了一種新型的數(shù)學(xué)形態(tài)學(xué)濾波與計(jì)算機(jī)視覺(jué)算法相結(jié)合的缺點(diǎn)自動(dòng)提取辦法。年北京科技大學(xué)徐科等采用線形激光進(jìn)行連鑄坯表面裂紋的在線檢測(cè)，并用AdaBoosting分類器成功地實(shí)現(xiàn)了對(duì)表面裂紋、水痕、渣痕、氧化鐵皮和振痕等5種缺點(diǎn)和偽缺點(diǎn)樣本的識(shí)別。北京科技大學(xué)高效軋制國(guó)家工程研究中心研制開(kāi)發(fā)了含有全部自主知識(shí)產(chǎn)權(quán)的冷軋帶鋼[19-20]和熱軋帶鋼表面在線檢測(cè)系統(tǒng)[21]，并在生產(chǎn)線上得到成功應(yīng)用?！痘诠舛攘Ⅲw學(xué)的金屬板帶表面微小缺點(diǎn)在線檢測(cè)辦法》徐科等機(jī)械工程學(xué)報(bào)檢測(cè)示意圖微小缺點(diǎn)與常規(guī)缺點(diǎn)同時(shí)檢測(cè)裝置核心點(diǎn)：二維圖像上缺點(diǎn)研究的核心是如何精確地分割出缺點(diǎn)目的。圖像目的分割辦法大多是為特定應(yīng)用設(shè)計(jì)的，含有較強(qiáng)的針對(duì)性和局限性。缺點(diǎn)分割就是指將感愛(ài)好的缺點(diǎn)目的從被測(cè)表面的背景信息（如顏色、輪廓、亮度、形狀）中分離出來(lái)，使缺點(diǎn)直接成為分析和解決對(duì)象的過(guò)程，是視覺(jué)檢測(cè)的核心。缺點(diǎn)分割是后續(xù)缺點(diǎn)分析鑒別的基礎(chǔ)，若分割中出現(xiàn)錯(cuò)誤或誤差而傳輸給后續(xù)的圖像分析中，將造成檢測(cè)錯(cuò)誤或失敗。因此，缺點(diǎn)分割性能的優(yōu)劣直接影響著后續(xù)的研究工作的進(jìn)行，是表面缺點(diǎn)檢測(cè)中的一項(xiàng)核心技術(shù)。全局閾值分割雙峰法、自適應(yīng)迭代法和最大類間分割法東北林業(yè)大學(xué)紋理分割（可否獲得高質(zhì)量的圖像，突出缺點(diǎn)？）光源的作用是形成有助于后續(xù)檢測(cè)算法復(fù)雜度減少和缺點(diǎn)檢測(cè)率提高的鑄坯表面缺點(diǎn)圖像效果。光源的選擇直接關(guān)系到采集圖像的質(zhì)量和圖像中能否明顯表露存在的缺點(diǎn)。據(jù)統(tǒng)計(jì)，最少30%的圖像質(zhì)量和應(yīng)用效果受到光源選擇的直接影響。采集到的抱負(fù)圖像應(yīng)是完整的、均勻亮度、對(duì)比度強(qiáng)且沒(méi)有畸變。難點(diǎn)：由于生產(chǎn)環(huán)境而造成的偽缺點(diǎn)的出現(xiàn)極大的影響了檢測(cè)的精度和精確度，引發(fā)檢測(cè)系統(tǒng)的誤動(dòng)作。多維視角分析在上圖某些環(huán)節(jié)的基礎(chǔ)上，增加了某些基于多維視角幾何的分析環(huán)節(jié)。多維視角分析的核心思想是，它能夠通過(guò)從不同的角度進(jìn)行多維視角分析來(lái)獲取待測(cè)物體的更多的信息。它是一種在檢測(cè)容易被誤檢的復(fù)雜對(duì)象時(shí)非常有用的辦法，由于從不同角度對(duì)同一物體的兩個(gè)或多個(gè)視角能夠提高只通過(guò)一張圖像來(lái)檢測(cè)缺點(diǎn)的辦法的對(duì)的率。（剔除偽缺點(diǎn)，見(jiàn)文獻(xiàn)[][][]）圖2多角度獲取圖像信息特性提取： 對(duì)于表面缺點(diǎn)檢測(cè)，在缺點(diǎn)有效的分割之后，要進(jìn)行缺點(diǎn)的鑒別。這里，缺點(diǎn)的鑒別涉及缺點(diǎn)識(shí)別、缺點(diǎn)分類、真?zhèn)稳秉c(diǎn)判斷、缺點(diǎn)參數(shù)給出等問(wèn)題。如果將缺點(diǎn)的鑒別過(guò)程看做是一種“黑盒子”，那么這個(gè)“黑盒子”的輸入是陷圖像的多個(gè)特性數(shù)據(jù)，輸出是鑒別成果（類型、參數(shù)等）。征去除無(wú)意義特性。紋理特性提?。罕M量縮小同類內(nèi)樣本特性值之間的差距，增大不同類間特性值的差距，有助于提高分類器的性能，減少分類器設(shè)計(jì)的復(fù)雜性。Gabor濾波器：針對(duì)二維數(shù)字圖像，二維的Gabor濾波器含有優(yōu)良的濾波性能，并與生物視系統(tǒng)有相近的特點(diǎn)。二維Gabor濾波器能夠在方向、徑向頻率帶寬以及中心頻方面進(jìn)行定制，因此在空間域和頻率域都能獲得極佳的分辨率。計(jì)算量大。小波變換：將紋理圖像當(dāng)作是二維信號(hào)，運(yùn)用二維離散小波變換進(jìn)行紋理圖像的解決?？蓪D像在頻域上分解為低頻子帶（紋理的基本構(gòu)造）和若干方向上的高頻子帶（紋理細(xì)節(jié)），然后提取各子帶的特性形成特性向量。統(tǒng)計(jì)幾何特性提取辦法《基于非基于非下采樣Contourlet變換和PCNN的表面缺點(diǎn)自動(dòng)識(shí)別辦法》周新星中國(guó)地質(zhì)大學(xué)首先用NSCT對(duì)缺點(diǎn)圖像進(jìn)行多尺度多方向分解;然后將子帶圖像輸入迭代點(diǎn)火，計(jì)算點(diǎn)火圖的熵序列作為子圖的特性，合并各子圖特性得到原圖的特性向量;最后用支持向量機(jī)進(jìn)行分類識(shí)別。NSCT原理示意圖PCNN中單個(gè)神經(jīng)元的模型分類：模式識(shí)別分類器。（SVM與神經(jīng)網(wǎng)絡(luò)）表面缺點(diǎn)檢測(cè)的應(yīng)用往往存在多個(gè)類型的表面缺點(diǎn)，因此，缺點(diǎn)識(shí)別問(wèn)題普通是多類分類問(wèn)題。分類的難點(diǎn)在于分類器的設(shè)計(jì)?，F(xiàn)在慣用的分類器辦法大致能夠分為兩種：不需要學(xué)習(xí)的分類器和需要學(xué)習(xí)的分類器。不需要學(xué)習(xí)的分類器普通基于統(tǒng)計(jì)的辦法，如貝葉斯理論、距離鑒別、Fisher鑒別、k-鄰近法、聚類分析、決策樹(shù)分類等；需要學(xué)習(xí)的分類器如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。不需要學(xué)習(xí)的分類器往往需要大樣本支持，并且需要一定的先驗(yàn)知識(shí)，計(jì)算量大，速度慢，因此，在實(shí)時(shí)檢測(cè)應(yīng)用中往往難以實(shí)現(xiàn)。（《注射制品表面缺點(diǎn)在線檢測(cè)與自動(dòng)識(shí)別》華中科技大學(xué)材料成形與模具技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，提出一種基于缺點(diǎn)區(qū)域輪廓、制品輪廓、區(qū)域灰度等特性的缺點(diǎn)自動(dòng)識(shí)別算法。缺點(diǎn)分類鑒定規(guī)則）需要學(xué)習(xí)的分類器，如果通過(guò)充足的、含有代表性的樣本學(xué)習(xí)訓(xùn)練后使分類器規(guī)則擬定，則可用于實(shí)時(shí)在線的檢測(cè)應(yīng)用。但神經(jīng)網(wǎng)絡(luò)的神經(jīng)元層數(shù)及每層神經(jīng)元的個(gè)數(shù)還是需要先驗(yàn)知識(shí)擬定，且其計(jì)算原理基于最小方差理論，因此容易陷入局部最優(yōu)，且其分類思想還是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則。支持向量機(jī)（SVM,SupportVectorMachine）是在統(tǒng)計(jì)學(xué)習(xí)理論（SLT,tisticalLearningTheory）的基礎(chǔ)上發(fā)展起來(lái)的一種統(tǒng)計(jì)學(xué)習(xí)辦法，其核心思想構(gòu)造風(fēng)險(xiǎn)最小化取代傳統(tǒng)分類器的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化[148]。支持向量機(jī)是一種建立在VC維和構(gòu)造最小化準(zhǔn)則上的機(jī)器學(xué)習(xí)算法，通過(guò)學(xué)習(xí)，SVM能夠自動(dòng)尋找那些對(duì)分類有較好分辨能力的支持向量，由此構(gòu)造出的分類器能夠最大化類之間的間隔，使不同的樣本能夠被分類器分開(kāi)。因而有較好的推廣性能和較高的分類精確率。SVM已被用于文本分類、孤立的手寫(xiě)體識(shí)別、語(yǔ)音識(shí)別、人臉識(shí)別、三維物體識(shí)別、遙感圖像分析等。支持向量機(jī)是一種高性能的分類算法，跟上面介紹的辦法相比有明顯的優(yōu)勢(shì)。支持向量機(jī)（SVM,SupportVectorMachine）是在統(tǒng)計(jì)學(xué)習(xí)理論（SLT,tisticalLearningTheory）的基礎(chǔ)上發(fā)展起來(lái)的一種統(tǒng)計(jì)學(xué)習(xí)辦法，其核心思想構(gòu)造風(fēng)險(xiǎn)最小化取代傳統(tǒng)分類器的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化即使向量機(jī)是針對(duì)二分類問(wèn)題的，由二分類器組合成的多分器在性能上也有較好的體現(xiàn)。隨著越來(lái)越多的對(duì)它的研究，將是機(jī)器學(xué)習(xí)中一項(xiàng)很有發(fā)展前景的技術(shù)。通過(guò)多個(gè)二分類向量器的組合構(gòu)造多分類向量器。一對(duì)多一對(duì)一DAGSVM：核函數(shù)核參數(shù)處罰因子減少訓(xùn)練時(shí)間減少向量機(jī)復(fù)雜程度多分類算法核心點(diǎn)：確保訓(xùn)練樣本的質(zhì)量，濾除噪聲。真?zhèn)稳秉c(diǎn)鑒別辦法：（國(guó)內(nèi)研究現(xiàn)狀）1.基于紋理的非模式圖像偽缺點(diǎn)甄別普通缺點(diǎn)出現(xiàn)時(shí)，缺點(diǎn)處的光學(xué)性能的變化呈現(xiàn)兩面性：大多數(shù)區(qū)域的透射性能減少，而局部社區(qū)域的透射性能卻增加。透射性能增加的位置其圖像區(qū)域灰度值呈偏亮的特性，由于這些偏亮的像素往往呈現(xiàn)離散的條紋狀分布在缺點(diǎn)核心的周邊，其反映了缺點(diǎn)核心的外圍輪廓，將之稱為缺點(diǎn)紋理。能夠通過(guò)從實(shí)時(shí)圖像中擬合出一種原則曲面D(i,j)，通過(guò)從實(shí)時(shí)圖像與原則曲面的差來(lái)求取缺點(diǎn)紋理。（《產(chǎn)品表面缺點(diǎn)在線檢測(cè)辦法研究及系統(tǒng)實(shí)現(xiàn)》彭向前華中科技大學(xué)）基于多幅圖像的缺點(diǎn)自動(dòng)識(shí)別技術(shù)該辦法將識(shí)別過(guò)程分為兩步:缺點(diǎn)提取和缺點(diǎn)跟蹤。第一步運(yùn)用傳統(tǒng)辦法在每幅圖像中分離出潛在缺點(diǎn)。這一步確保真缺點(diǎn)能全部提取出來(lái)，而不考慮偽缺點(diǎn)的數(shù)量。第二步力圖找出同一試件不同圖像中分離出的缺點(diǎn)之間的互有關(guān)系。如果第一步某一圖像中分離出的某一缺點(diǎn)在其它圖像中都找不到相對(duì)應(yīng)的缺點(diǎn)區(qū)域，就定義該缺點(diǎn)為偽缺點(diǎn)，也就是說(shuō)，真缺點(diǎn)在不同圖像中必須滿足一定的幾何關(guān)系。多幅圖像中的缺點(diǎn)跟蹤綜合運(yùn)用了極線約束、三維重建和三線性約束等立體視覺(jué)算法。（《航空發(fā)動(dòng)機(jī)葉片X射線數(shù)字圖像分析的一種新辦法》周正干等北京航天航空大學(xué)）基于B樣條曲線及極值修正的缺點(diǎn)提取針對(duì)背景起伏大、對(duì)比度低、紋理復(fù)雜的圖像容易出現(xiàn)大量偽缺點(diǎn)。運(yùn)用B樣條曲線以及極值修正的辦法，對(duì)列灰度曲線波形進(jìn)行平滑優(yōu)化，然后通過(guò)對(duì)提取的極值進(jìn)行分析提取，擬定缺點(diǎn)的邊界，最后分割和提取出缺點(diǎn)。減少誤判率。（《X射線焊縫圖像缺點(diǎn)自動(dòng)提取與識(shí)別技術(shù)研究》梁硼南京航天航空大學(xué)）基于相鄰層切片信息的真?zhèn)稳秉c(diǎn)識(shí)別辦法識(shí)別流程圖：（《基于ICT切片圖像的零件內(nèi)部缺點(diǎn)三維重構(gòu)核心技術(shù)研究》方黎勇西南交通大學(xué)）5.可疑區(qū)域篩選有兩種辦法，一種辦法是去除偽缺點(diǎn)，另一種是挑選真缺點(diǎn)。由于偽缺點(diǎn)基本由水、氧化鐵皮與光照不均現(xiàn)象引發(fā)，很難找到算法將它們直接去除，因此只能采用第二種方案。通過(guò)增加4種不同類型的缺點(diǎn)檢測(cè)環(huán)節(jié)，去除了大量由水、氧化鐵皮等造成的偽缺點(diǎn)，在確保缺點(diǎn)檢出率的同時(shí)，減小缺點(diǎn)的誤識(shí)率。（《熱軋帶鋼表面缺點(diǎn)在線檢測(cè)的辦法與工業(yè)應(yīng)用》徐科等北京科技大學(xué)）在鍛造生產(chǎn)過(guò)程中,種種因素會(huì)使鑄件表面產(chǎn)生某些缺點(diǎn)。其中有些缺點(diǎn)如表面裂紋,不僅影響產(chǎn)品表面質(zhì)量,并且會(huì)造成較嚴(yán)重的生產(chǎn)事故。因此,如何能夠及時(shí)發(fā)現(xiàn)并消除表面缺點(diǎn)，成為人們關(guān)注的一種問(wèn)題。現(xiàn)在國(guó)內(nèi)鍛造生產(chǎn)廠家大多采用人工目測(cè)的辦法完畢該項(xiàng)工作,這種辦法勞動(dòng)強(qiáng)度大、工作效率低,且檢測(cè)成果易受檢查人員技術(shù)素質(zhì)和經(jīng)驗(yàn)及肉眼分辨能力和疲勞等主觀因素影響,缺少精確性和規(guī)范化,無(wú)法確保正常的產(chǎn)品質(zhì)量。鑄板的表面裂紋與其它缺點(diǎn)(如疤痕和振痕)或偽缺點(diǎn)(水痕、渣痕和氧化鐵皮)構(gòu)成,它們?cè)诟鱾€(gè)方向上的紋理特性各有不同,能夠運(yùn)用小波的多方向性特點(diǎn)對(duì)圖像進(jìn)行分解后再作紋理分析.有選擇的舍棄或增強(qiáng)某方向的信息，能夠起到對(duì)某方向紋理的去除或增強(qiáng)作用。 CCD相機(jī)光源及照明方式獲取圖像數(shù)字圖像獲取圖像增強(qiáng)濾波 增強(qiáng)濾波形態(tài)學(xué)辦法圖像預(yù)解決理形態(tài)學(xué)辦法圖像預(yù)解決理變換 變換邊沿提取圖像分析邊沿提取圖像分析 目的分割目的分割特性提取 特性提取圖像理解圖像理解 分類器設(shè)計(jì)特性分析