智能網(wǎng)聯(lián)汽車裝配與調(diào)試課件：機器視覺系統(tǒng)裝配與調(diào)試

機器視覺系統(tǒng)裝配與調(diào)試《智能網(wǎng)聯(lián)汽車裝配與調(diào)試》目

錄Contents視覺傳感器的結(jié)構(gòu)攝像頭內(nèi)參標定深度學(xué)習(xí)技術(shù)車輛和車道線識別技術(shù)03040102視覺傳感器的結(jié)構(gòu)01視覺傳感器又稱為成像裝置或攝像裝置，是智能車輛路徑識別模塊中攝像頭的重要組成部分。視覺傳感器的結(jié)構(gòu)

視覺傳感器的結(jié)構(gòu)

?實現(xiàn)視覺功能的信息采集、轉(zhuǎn)換和

擴展，提供可視化、真實、多級、多

內(nèi)容的視覺圖像信息?可以檢測可見光、紫外線、X射線、近紅外光等視覺傳感器用于實現(xiàn)以上信息處理的圖像傳感器控制芯片如下圖所示。視覺傳感器的結(jié)構(gòu)

視覺傳感器的結(jié)構(gòu)

視覺傳感器的基本組成有哪些？光源模

換廣義的傳感器視覺數(shù)

器轉(zhuǎn)圖狹義的視覺攝像頭視覺傳感器是指圖像傳感器，它的作用是將鏡頭所成的圖像轉(zhuǎn)變?yōu)閿?shù)字和模

擬信號輸出，是視覺檢測的核心部件，分為CCD圖像傳感器和CMOS

圖像傳感器兩種，如下圖所示。狹義的視覺傳感器的結(jié)構(gòu)智能網(wǎng)聯(lián)汽車上的視覺傳感器指的主要是車載視覺傳感器，是ADAS系統(tǒng)的主要視覺傳感器，借由鏡頭采集圖像后，由視覺傳感器內(nèi)的感光組件電路及控制組件對圖像進行處理并轉(zhuǎn)化為電腦能處理的數(shù)字信號，從而實現(xiàn)感知車輛周邊的路況情況。視覺傳感器的結(jié)構(gòu)謝謝觀看T

H

A

N

K

S

F

O

R

W

A

T

C

H

機器視覺系統(tǒng)裝配與調(diào)試《智能網(wǎng)聯(lián)汽車裝配與調(diào)試》目

錄Contents視覺傳感器的結(jié)構(gòu)攝像頭內(nèi)參標定深度學(xué)習(xí)技術(shù)車輛和車道線識別技術(shù)03040102攝像頭內(nèi)參標定02

攝像頭內(nèi)參標定

攝像頭內(nèi)參標定程序調(diào)試攝像頭內(nèi)參標定原理一二棋盤坐標系主要用于相機的標定，如圖所示，在棋盤坐標系中，XP

軸指向右邊，

YP軸指向下方。棋盤坐標系原點是棋盤左上角。每個棋盤角代表坐標系中的另一點。例如，原點右側(cè)的角為(1,0)，原點下方的角為(0,1)一、攝像頭內(nèi)參標定原理圖棋盤坐標系原理棋盤格的尺寸(高度，寬度)用格數(shù)表示，如下圖所示。一、攝像頭內(nèi)參標定原理圖棋盤格尺寸車輛坐標系如下圖所示，Xv軸從車輛向前指向，Yv軸指向左方。從正面看，原點位于道路表面，直接位于攝像頭焦點下方。當(dāng)放置棋盤格時，XP軸和YP軸必須與車輛的Xv軸和Yv軸對齊。一、攝像頭內(nèi)參標定原理圖車輛坐標系一、攝像頭內(nèi)參標定原理水平方向標定如下圖所示：圖水平方向標定一、攝像頭內(nèi)參標定原理垂直方向標定如下圖所示：圖垂直方向標定其實，計算攝像頭標定技術(shù)的最基本的一個方法就是通過小孔成像的原理，何為小孔成像，就是光通過一個很小的孔后，能夠在另外一塊板上投射出一個完整的物象，這就叫做小孔成像，而這種成像技術(shù)中，有一個很重要的參數(shù)，就是角度，所有物體的投射都要受到這個角度的影響，所以，我們通過計算這個角度，就能夠計算出真實世界中各個物體之間的真實距離，如果有未知的參數(shù)，就用方程組來求得。

一、攝像頭內(nèi)參標定原理

車載攝像頭軟件上的程序調(diào)試，具體流程如下：車輛放置在車道線中間，停放要求如下如所示：二、攝像頭內(nèi)參標定程序調(diào)試圖車輛擺放位置1、盡量保證學(xué)習(xí)道路的車道線為實線，如學(xué)習(xí)道路的車道線是虛線，需保證車道線每條線段的長度大于4米

二、攝像頭內(nèi)參標定程序調(diào)試

2、單條車道線的線寬應(yīng)在10cm-30cm之間，同時左/右兩條車道線的線寬比值小于2倍3、左/右兩條車道線的總長度不小于40m注意：使用筆記本電腦連接路由器網(wǎng)線，確保能夠上網(wǎng)，使用提供的登錄賬號登錄FieldHelper軟件，如下圖所示(如提示升級軟件，點擊忽略即可)二、攝像頭內(nèi)參標定程序調(diào)試圖登錄界面登錄成功后點擊“連接設(shè)備”，輸入設(shè)備IP(雙目攝像頭IP為192.168.1.251)，如下圖二、攝像頭內(nèi)參標定程序調(diào)試圖主界面所示。

二、攝像頭內(nèi)參標定程序調(diào)試

圖連接界面進入到主頁后，顯示設(shè)備的型號、序列號、固件類型、設(shè)備狀態(tài)、固件版本以及顯示屏的型號、序列號、固件版本，點擊“安裝設(shè)備”按鈕，進入設(shè)備安裝流程。如下圖所示。二、攝像頭內(nèi)參標定程序調(diào)試圖安裝界面在相機檢測中，用戶選擇左下角“跳過該步驟”，如下圖所示：二、攝像頭內(nèi)參標定程序調(diào)試圖相機檢測在通訊設(shè)置中，選擇不連接第三方設(shè)備，不使用車速信號，保存并下一步。如下圖所示：二、攝像頭內(nèi)參標定程序調(diào)試圖通訊配置在相機安裝中，詳情可點擊“查看示例”，然后根據(jù)實際情況填入相機的安裝參數(shù)，點擊“保存并下一步”按鈕，如下圖所示：二、攝像頭內(nèi)參標定程序調(diào)試圖參數(shù)配置用戶需要實際測量和輸入相機安裝位置信息的說明：g)相機安裝位置中左相機指從駕駛員視角看到的設(shè)備的左相機。d)車輛左側(cè)相機距前擋風(fēng)玻璃右邊緣的距離(單位：cm)；b)車輛左側(cè)相機距前擋風(fēng)玻璃左邊緣的距離(單位：cm)；二、攝像頭內(nèi)參標定程序調(diào)試c)車輛左側(cè)相機距前保險杠的距離(單位：cm)；a)車輛左側(cè)相機距離地面的距離(單位：cm)；f)車輛兩個前輪外邊緣的間距(單位：cm)；e)車頭距離地面的距離(單位：cm)；姿態(tài)學(xué)習(xí)配置：車速不允許超過40KM/h或車輛無法上路行駛，需要選擇工具學(xué)習(xí)模式學(xué)習(xí)，點擊“下一步”按鈕，在相機視野內(nèi)顯示出兩條綠色標識后，方可點擊“開始學(xué)習(xí)”完成操作。如下如所示二、攝像頭內(nèi)參標定程序調(diào)試圖工具學(xué)習(xí)

二、攝像頭內(nèi)參標定程序調(diào)試

圖開始學(xué)習(xí)姿態(tài)感知設(shè)置：在姿態(tài)感知配置中，用戶選擇左下角“跳過該步驟”，如下圖所示：二、攝像頭內(nèi)參標定程序調(diào)試圖姿態(tài)感知配置預(yù)警設(shè)置：用戶可以根據(jù)特定需求，可將預(yù)警設(shè)置的“啟用車速”參數(shù)進行適當(dāng)?shù)男薷?，點擊“保存并下一步”，如下圖所示：二、攝像頭內(nèi)參標定程序調(diào)試圖預(yù)警設(shè)置同步設(shè)置：無需填寫信息，直接點擊“同步設(shè)置”按鈕，完成配置。如下圖所示：二、攝像頭內(nèi)參標定程序調(diào)試圖同步設(shè)置

二、攝像頭內(nèi)參標定程序調(diào)試

圖設(shè)置成功謝謝觀看T

H

A

N

K

S

F

O

R

W

A

T

C

H

機器視覺系統(tǒng)裝配與調(diào)試《智能網(wǎng)聯(lián)汽車裝配與調(diào)試》目

錄Contents視覺傳感器的結(jié)構(gòu)攝像頭內(nèi)參標定深度學(xué)習(xí)技術(shù)車輛和車道線識別技術(shù)03040102車輛和車道線識別技術(shù)03

車輛和車道線識別技術(shù)

車道線識別技術(shù)車輛識別技術(shù)一二識別算法用于確定圖像序列中是否存在車輛，并獲得其基本信息，如大小、位置等。攝像頭跟隨車輛在道路上運動時，所獲得道路圖像中車輛的大小、位置和亮度等是在不斷變化的。根據(jù)車輛識別的初始結(jié)果，對車輛大小、位置和亮度的變化進行跟蹤。由于車輛識別時需要對所有圖像進行搜索，所以算法的耗時較大。而跟蹤算法可以在一定的時間和空間條件

約束下進行目標搜索，還可以借助一些先驗知識，因此計算量較小，一般可以滿足預(yù)警系統(tǒng)的實時性要求。一、車輛識別技術(shù)概

念基于模型的識別方法基于光流場的識別方法基于機器學(xué)習(xí)的基于特征的識別目前用于識別前方運動車輛的方法主要有：一、車輛識別技術(shù)識別方法方法基于特征的識別方法是在車輛識別中最常使用的方法之一，又稱為基于先驗知識的識別方法。對于行駛在前方的車輛，其顏色、輪廓、對稱性等特征都可以用來將車輛與周圍背景區(qū)別開來。因此，基于特征的車輛識別方法就以這些車輛的外形特征為基礎(chǔ)從圖像中識別前方行駛的車輛。當(dāng)前常用的基于特征的方法有使用陰影特征的方法、使用邊緣特征的方法、使用對稱性特征的方法、使用位置特征的方法和使用車輛尾燈特征的方法等。

1.

基于特征的識別方法一、車輛識別技術(shù)前方運動車輛識別其實是對圖像中車輛區(qū)域與非車輛區(qū)域的定位與判斷的問題?；跈C器學(xué)習(xí)的識別方法一般需要從正樣本集和負樣本集提取目標特征，再訓(xùn)練出識別車輛區(qū)域與非車輛區(qū)域的決策邊界，最后使用分類器判斷目標。通常的識別過程是對原始圖像進行不同比例的縮放，得到一系列的縮放圖像，然后在這些縮放圖像中全局搜索所有與訓(xùn)練樣本尺度相同的區(qū)域，再由分類器判斷這些區(qū)域是否為目標區(qū)域，最后確定目標區(qū)域并獲取目標區(qū)域的信息。機器學(xué)習(xí)的方法無法預(yù)先定位車輛可能存在的區(qū)域，因此只能對圖像進行全局搜索，這樣造成識別過程的計算復(fù)雜度高，無法保證識別的實時性。2.

基于機器學(xué)習(xí)的識別方法一、車輛識別技術(shù)光流場是指圖像中所有像素點構(gòu)成的一種二維瞬時速度場，其中

的二維速度矢量是景物中可見點的三維速度矢量在成像表面的投影

。通常流光場是由于攝像頭、運動目標、或二者在同時運動的過程中產(chǎn)生的。在存在獨立運動目標的場景中，通過分析光流可以檢測目標數(shù)量、目標運動速度、目標相對距離以及目標表面結(jié)構(gòu)等。3

.

基于光流場的識別方法一、車輛識別技術(shù)基于模型的識別方法是根據(jù)前方運動車輛的參數(shù)來建立二維或三

維模型，然后利用指定的搜索算法來匹配查找前方車輛。這樣方法對

建立的模型依賴度高，但是車輛外部形狀各異，難以通過僅建立一種或者少數(shù)幾種模型的方法來對車輛實施有效的識別，如果為每種車輛

外形都建立精確的模型又將大幅度增加識別過程中的計算量。4

.

基于模型的識別方法一、車輛識別技術(shù)多傳感器融合技術(shù)是未來車輛識別技術(shù)的發(fā)展方向。目前，在車輛識別中主要有兩種融合技術(shù)，即視

覺和激光雷達傳感器的融合技術(shù)，以及視覺和毫米波雷達傳感器的融合技術(shù)。一、車輛識別技術(shù)(a)原始圖像1(b)原始圖像2圖RCNN車輛檢測的原始圖像如下圖所示，利用MATLAB的RCNN車輛檢測器檢測圖成像中的車輛。一、車輛識別技術(shù)(a)圖像1檢測結(jié)果(b)圖像2檢測結(jié)果圖車輛檢測結(jié)果

一、車輛識別技術(shù)

分別讀取兩張圖中的圖像，得到車輛檢測結(jié)果如下圖所示道路識別就是把真實的

道路通過激光雷達轉(zhuǎn)換成汽

車認識的道路，供自動駕駛汽車行駛；或通過視覺傳感器識別出車道線，提供車輛在當(dāng)前車道中的位置，

幫助智能網(wǎng)聯(lián)汽車提高行駛的安

全性。二、車道線識別技術(shù)(2)非結(jié)構(gòu)化道路識別。非結(jié)構(gòu)化道路相對比較復(fù)雜，

一般沒有車道線和清晰的道路邊界，

或路面凹凸不平，或交通擁堵，或受到陰影和水跡的影響。多變的道

路類型，復(fù)雜的環(huán)境背景，以及陰影與變化的天氣等，都是非結(jié)構(gòu)化道路識別方法所面臨的困難，道路

區(qū)域和非道路區(qū)域更難以區(qū)分，所

以非結(jié)構(gòu)化道路識別是無人駕駛汽

車的難點。非結(jié)構(gòu)化道路識別主要依據(jù)車道的顏色或紋理進行檢測。(1)結(jié)構(gòu)化道路識別。結(jié)構(gòu)化道路具有明顯的車道線

標識線或邊界，幾何特征明顯，車道寬度基本上保持不變，如城市道

路、高速公路。結(jié)構(gòu)化道路識別一般依據(jù)車道線的邊界或車道線的灰

度與車道明顯的不同實現(xiàn)檢測。結(jié)

構(gòu)化道路識別的方法對道路模型有較強的依賴性，且對噪聲、陰影、遮擋等環(huán)境變化敏感。結(jié)構(gòu)化道路

識別技術(shù)比較成熟。1、根據(jù)道路構(gòu)成的特點，道路識別可以分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路識別。二、車道線識別技術(shù)

二、車道線識別技術(shù)

基于視覺傳感器的道路識別就是通過視覺傳感器采集道路圖像，并通過算法處理道路圖像，識別出車道線?；诶走_的道路識別就是通過雷達采集道路信息，并通過算法處理信息，識別出車道線。2、根據(jù)所用傳感器的不同，道路識別分為基于視覺傳感器的道路識別和基于雷達的道路識別。(

1

)

基

于

視

覺

傳

感

器

的

道

路

識

別

。(2

)基于雷達的道路識別。謝謝觀看T

H

A

N

K

S

F

O

R

W

A

T

C

H

機器視覺系統(tǒng)裝配與調(diào)試《智能網(wǎng)聯(lián)汽車裝配與調(diào)試》目

錄Contents視覺傳感器的結(jié)構(gòu)攝像頭內(nèi)參標定深度學(xué)習(xí)技術(shù)車輛和車道線識別技術(shù)03040102深度學(xué)習(xí)技術(shù)04深度學(xué)習(xí)技術(shù)-實例深度學(xué)習(xí)技術(shù)-應(yīng)用深度學(xué)習(xí)技術(shù)-定義深度學(xué)習(xí)技術(shù)二三一深度學(xué)習(xí)是機器學(xué)習(xí)的一個類型，該類型的模型直接從圖像、文字或聲音中學(xué)習(xí)執(zhí)行分類任務(wù)。通常使用神經(jīng)網(wǎng)絡(luò)架構(gòu)實現(xiàn)深度學(xué)習(xí)?！吧疃取币辉~是指網(wǎng)絡(luò)中的層數(shù)，層數(shù)越多，網(wǎng)絡(luò)越深。傳統(tǒng)的神經(jīng)網(wǎng)

絡(luò)只包含2層或3層，而深度網(wǎng)絡(luò)可能有幾百層。一、深度學(xué)習(xí)技術(shù)-定義定

義深度神經(jīng)網(wǎng)絡(luò)結(jié)合多個非線性處理層，并行使用簡單元素操作，受到了生物神經(jīng)系統(tǒng)的啟發(fā)。它由一個輸入層、多個中間層和一個輸出層組成。各層通過節(jié)點或神經(jīng)元相互連接，每個中間層使用前一層的輸出作為其輸入，如圖所示。一、深度學(xué)習(xí)技術(shù)-定義圖深度神經(jīng)網(wǎng)絡(luò)自動駕駛汽車要想做出正確的決策，前提就必須要做到完全的感知，目前的自動駕駛技術(shù)，識別車前到底是一個行人還是一輛車已經(jīng)不是什么難題，但是如果要判斷這是一輛轎車還是一輛SUV，行人是一個成人還是一個小孩可能并不是那么容易。要想做到更高等級的識別，就必須借助深度學(xué)習(xí)技術(shù)。二、深度學(xué)習(xí)技術(shù)-應(yīng)用圖像識別是深度學(xué)習(xí)最為擅長的，只需對系統(tǒng)進行訓(xùn)練，

系統(tǒng)便