智能網(wǎng)聯(lián)汽車(chē)計(jì)算平臺(tái)部署與測(cè)試課件：Kinect深度相機(jī)的認(rèn)知與安裝

智能網(wǎng)聯(lián)汽車(chē)

計(jì)算平臺(tái)部署與測(cè)試

Kinect深度相機(jī)的認(rèn)知與安裝任務(wù)1深度相機(jī)KinectV2驅(qū)動(dòng)的認(rèn)知目錄01.任務(wù)描述02.任務(wù)目標(biāo)03.任務(wù)準(zhǔn)備04.知識(shí)準(zhǔn)備05.任務(wù)實(shí)施06.評(píng)價(jià)反饋01.任務(wù)描述最近，小劉忙于自己的課程任務(wù)，但他當(dāng)前對(duì)于深度相機(jī)KinectV2驅(qū)動(dòng)不太了解，而且需要將其安裝在自己的電腦上，請(qǐng)你準(zhǔn)備一下，向他簡(jiǎn)要介紹一下深度相機(jī)KinectV2驅(qū)動(dòng)，并且?guī)椭瓿砂惭b任務(wù)，最后對(duì)學(xué)習(xí)效果進(jìn)行評(píng)價(jià)。02.任務(wù)目標(biāo)

通過(guò)學(xué)習(xí)，希望同學(xué)們完成以下任務(wù)。了解能夠深度相機(jī)KinectV2驅(qū)動(dòng)。熟悉深度相機(jī)KinectV2驅(qū)動(dòng)的安裝方法。熟悉深度相機(jī)KinectV2驅(qū)動(dòng)安裝過(guò)程中常見(jiàn)問(wèn)題的解決方法。能夠在電腦上正確安裝深度相機(jī)KinectV2驅(qū)動(dòng)。能夠解決安裝過(guò)程中常見(jiàn)的問(wèn)題。具有良好的團(tuán)隊(duì)協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德。獲得多途徑檢索知識(shí)、分析解決問(wèn)題以及多元化思考解決問(wèn)題的方法，形成創(chuàng)新意識(shí)。03.任務(wù)準(zhǔn)備常規(guī)實(shí)訓(xùn)著裝防護(hù)裝備安裝有操作系統(tǒng)的計(jì)算機(jī)平臺(tái)教學(xué)設(shè)備教學(xué)課件、電腦主機(jī)教學(xué)工具04.知識(shí)準(zhǔn)備深度相機(jī)，也被稱(chēng)為三維相機(jī)或者RGBD相機(jī)，是一種能夠同時(shí)獲取場(chǎng)景的顏色信息和深度信息的相機(jī)技術(shù)。與傳統(tǒng)的RGB相機(jī)只能獲取顏色信息不同，深度相機(jī)通過(guò)使用紅外光或者其他特殊傳感器，可以獲取場(chǎng)景中物體和環(huán)境的三維結(jié)構(gòu)信息。一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述1.深度相機(jī)的介紹深度相機(jī)的工作原理：基于ToF成像技術(shù)，實(shí)現(xiàn)調(diào)幅連續(xù)波（AMCW）時(shí)差測(cè)距（ToF）。這種相機(jī)將近紅外（NIR）頻譜中的調(diào)制光投射到場(chǎng)景中，然后記錄光線從相機(jī)傳播到場(chǎng)景，再?gòu)膱?chǎng)景返回到相機(jī)所花費(fèi)的間接時(shí)間測(cè)量值。處理這些測(cè)量值可以生成深度圖，深度圖是圖像每個(gè)像素的一組Z坐標(biāo)值，以毫米為單位。一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述深度相機(jī)在多個(gè)領(lǐng)域有廣泛的應(yīng)用。例如，它可以實(shí)現(xiàn)更精細(xì)自然的背景虛化，人像光效的模仿，動(dòng)畫(huà)表情的實(shí)時(shí)轉(zhuǎn)移，以及三維美顏和人臉活體識(shí)別等功能。此外，還有針對(duì)戶外場(chǎng)景打造的3D結(jié)構(gòu)光深度相機(jī)，解決了戶外強(qiáng)光下成像困難的痛點(diǎn)，賦能景區(qū)、校園、加油站、公共交通等戶外刷臉支付及人身核驗(yàn)應(yīng)用。一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述KinectV2是一款集成了彩色相機(jī)、深度傳感器、紅外發(fā)射器和麥克風(fēng)陣列的硬件設(shè)備,也是美國(guó)微軟公司生產(chǎn)的Xbox第二代3D體感攝像機(jī)，包括彩色攝像頭（ColorCamera）、深度傳感器（DepthSensor）、麥克風(fēng)陣列(MicrophoneArray)等部件，其中深度傳感器（DepthSensor）由紅外攝像機(jī)（IRCamera）和紅外投影儀（IRProjector）構(gòu)成。驅(qū)動(dòng)程序（DeviceDriver）全稱(chēng)為“設(shè)備驅(qū)動(dòng)程序”，是一種可以使計(jì)算機(jī)和設(shè)備進(jìn)行通信的特殊程序。操作系統(tǒng)只有通過(guò)這類(lèi)程序，才能控制相應(yīng)的硬件設(shè)備。如果某設(shè)備的驅(qū)動(dòng)程序未能正確安裝，該設(shè)備便不能正常工作。其驅(qū)動(dòng)是為了使KinectV2能夠在計(jì)算機(jī)上正常工作而設(shè)計(jì)的軟件程序。一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述2.深度相機(jī)KinectV2的介紹深度圖像的每個(gè)像素?cái)?shù)值都代表KinectV2距離此像素實(shí)際對(duì)應(yīng)區(qū)域與相機(jī)的深度距離，因此KinectV2能夠直接輸出三維空間信息。同時(shí)，KinectV2的彩色相機(jī)用于獲取高清彩色圖像，而麥克風(fēng)陣列則用于采集周?chē)穆曇粜畔ⅲY(jié)合微軟的語(yǔ)音庫(kù)，可以實(shí)現(xiàn)語(yǔ)音識(shí)別等功能。一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述在安裝KinectV2驅(qū)動(dòng)時(shí)，通常需要將設(shè)備連接到電腦上，并安裝相應(yīng)的USB驅(qū)動(dòng)。隨后，下載并安裝Kinect2.0SDK（軟件開(kāi)發(fā)工具包）以支持設(shè)備的運(yùn)行。這個(gè)SDK提供了必要的庫(kù)和工具，使得開(kāi)發(fā)者能夠利用KinectV2進(jìn)行各種應(yīng)用程序的開(kāi)發(fā)。驅(qū)動(dòng)安裝完成后，KinectV2就可以通過(guò)其深度傳感器捕獲場(chǎng)景中的對(duì)象的深度信息。這主要依賴(lài)于結(jié)構(gòu)光技術(shù)，即使用紅外線光源和紅外線相機(jī)。當(dāng)紅外線光照射到場(chǎng)景中的對(duì)象時(shí)，光線會(huì)反射回設(shè)備并被紅外線相機(jī)捕捉。根據(jù)紅外線光照射和反射的時(shí)間差，KinectV2能夠計(jì)算出每個(gè)對(duì)象的距離和深度，生成深度圖像。一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述KinectV2的驅(qū)動(dòng)按照開(kāi)發(fā)商類(lèi)型，可以分為官方驅(qū)動(dòng)和第三方驅(qū)動(dòng)。1.官方驅(qū)動(dòng)深度相機(jī)KinectV2的官方驅(qū)動(dòng)由微軟公司提供，包含在KinectForWindowsSDK2.0軟件包中，可以從微軟官網(wǎng)下載（）。二、深度相機(jī)KinectV2驅(qū)動(dòng)的分類(lèi)二、深度相機(jī)KinectV2驅(qū)動(dòng)的分類(lèi)KinectForWindowsSDK2.0軟件包包含以下內(nèi)容：（1）KinectV2驅(qū)動(dòng)程序，適用于Windows桌面操作系統(tǒng)及Windows嵌入式操作系統(tǒng)；（2）KinectV2應(yīng)用編程接口（API）以及設(shè)備編程接口；（3）SDK使用范例代碼。二、深度相機(jī)KinectV2驅(qū)動(dòng)的分類(lèi)2.第三方驅(qū)動(dòng)深度相機(jī)KinectV2的第三方驅(qū)動(dòng)指由微軟以外的其它公司/組織/個(gè)人開(kāi)發(fā)的驅(qū)動(dòng)程序，最常用的OpenKinect。OpenKinect是一個(gè)開(kāi)源社區(qū)，致力于將Kinect設(shè)備運(yùn)行于各種PC操作系統(tǒng)上，包括Windows，Linux以及Mac，并允許多臺(tái)KinectV2設(shè)備連接到同一臺(tái)計(jì)算機(jī)上。OpenKinect的所有代碼可以在Github上得到（），其中驅(qū)動(dòng)程序部分的代碼為libfreenect2，位于。05.任務(wù)實(shí)施1.在教師的引導(dǎo)下，以小組為單位學(xué)習(xí)相關(guān)技能，并完成下列作業(yè)：（1）KinectV2是哪家公司生產(chǎn)的，包括哪些部件？（2）驅(qū)動(dòng)程序的作用是什么？（3）KinectV2驅(qū)動(dòng)程序有幾種，各從什么渠道進(jìn)行下載？2.在教師的引導(dǎo)下分組，以小組為單位學(xué)習(xí)相關(guān)知識(shí)，并結(jié)合Kinect相機(jī)驅(qū)動(dòng)的安裝，完成以下作業(yè)：（1）了解KinectV2深度相機(jī)的來(lái)源和部件。（2）了解KinectV2深度相機(jī)的驅(qū)動(dòng)程序的作用（3）掌握KinectV2驅(qū)動(dòng)程序有幾種和各自的下載渠道。（4）按照下列表格索引，掌握KinectV2深度相機(jī)的相關(guān)知識(shí)，并完成“工作表格：KinectV2深度相機(jī)的認(rèn)知”的填寫(xiě)。06.評(píng)價(jià)反饋（1）各組代表展示匯報(bào)PPT，介紹任務(wù)的完成過(guò)程。（2）以小組為單位，請(qǐng)對(duì)各組的操作過(guò)程與操作結(jié)果進(jìn)行自評(píng)和互評(píng)，并將結(jié)果填入綜合評(píng)價(jià)表中的小組評(píng)價(jià)部分。（3）教師對(duì)學(xué)生工作過(guò)程與工作結(jié)果進(jìn)行評(píng)價(jià)，并將評(píng)價(jià)結(jié)果填入綜合評(píng)價(jià)表中的教師評(píng)價(jià)部分。ThankYou智能網(wǎng)聯(lián)汽車(chē)

計(jì)算平臺(tái)部署與測(cè)試

Kinect深度相機(jī)的認(rèn)知與安裝任務(wù)2Kinect相機(jī)驅(qū)動(dòng)的安裝目錄01.任務(wù)描述02.任務(wù)目標(biāo)03.任務(wù)準(zhǔn)備04.知識(shí)準(zhǔn)備05.任務(wù)實(shí)施06.評(píng)價(jià)反饋01.任務(wù)描述最近，單位新來(lái)一批實(shí)習(xí)員工，他們對(duì)深度相機(jī)Kinect驅(qū)動(dòng)的安裝并不了解，需要學(xué)習(xí)如何安裝Kinect相機(jī)驅(qū)動(dòng)，請(qǐng)你準(zhǔn)備一下，講解相機(jī)驅(qū)動(dòng)需要的系統(tǒng)要求及安裝方法，包括官方驅(qū)動(dòng)和第三方驅(qū)動(dòng)。02.任務(wù)目標(biāo)

通過(guò)學(xué)習(xí)，希望同學(xué)們完成以下任務(wù)。了解官方驅(qū)動(dòng)和第三方驅(qū)動(dòng)的使用場(chǎng)景。能夠掌握官方驅(qū)動(dòng)的安裝方法。能夠掌握第三方驅(qū)動(dòng)的安裝方法。能夠在電腦上正確安裝深度相機(jī)KinectV2官方驅(qū)動(dòng)。能夠在電腦上正確安裝深度相機(jī)KinectV2第三方驅(qū)動(dòng)。具有良好的團(tuán)隊(duì)協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德。獲得多途徑檢索知識(shí)、分析解決問(wèn)題以及多元化思考解決問(wèn)題的方法，形成創(chuàng)新意識(shí)。03.任務(wù)準(zhǔn)備常規(guī)實(shí)訓(xùn)著裝防護(hù)裝備安裝有操作系統(tǒng)的計(jì)算機(jī)平臺(tái)教學(xué)設(shè)備教學(xué)課件、電腦主機(jī)教學(xué)工具04.知識(shí)準(zhǔn)備（1）雙核3.1GHz以上64位處理器（2）4G以上內(nèi)存（3）支持USB3.0的接口（4）支持DirectX11的顯卡（5）VisualStudio2012以上（6）NetFramework4.5以上一、官方驅(qū)動(dòng)安裝1.系統(tǒng)要求（1）確定KinectV2未連接到計(jì)算機(jī)上（2）從微軟官網(wǎng)下載KinectSDK2.0安裝包，地址：download/F/2/D/F2D1012E-3BC6-49C5-B8B3-5ACFF58AF7B8/KinectSDK-v2.0_1409-Setup.exe一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述2.安裝（3）下載完畢，雙擊KinectSDK-v2.0_1409-Setup.exe文件，開(kāi)始安裝（4）安裝完畢，將KinectV2接上電源，并插入計(jì)算機(jī)上的USB3.0口，Windows將自動(dòng)安裝KinectV2的驅(qū)動(dòng)程序（5）驅(qū)動(dòng)程序安裝完成后，你可以在Windows的設(shè)備管理器中看到KinectV2設(shè)備一、深度相機(jī)KinectV2驅(qū)動(dòng)的概述2.安裝在非Windows環(huán)境下，一般選擇安裝第三方的驅(qū)動(dòng)。以在Ubuntu18.04操作系統(tǒng)中安裝KinectV2驅(qū)動(dòng)libfreenect2為例說(shuō)明。1.系統(tǒng)要求（1）支持USB3.0的接口（2）Ubuntu14.04以上（3）已經(jīng)安裝了NVidia顯卡及驅(qū)動(dòng)（4）已經(jīng)安裝了CUDA10.0以上二、OpenKinect驅(qū)動(dòng)安裝二、OpenKinect驅(qū)動(dòng)安裝2.安裝（1）首先更新Ubuntu系統(tǒng)軟件包。在Ubuntu終端上執(zhí)行如下命令：sudoaptupdate（2）安裝libfreenect2依賴(lài)軟件包。在Ubuntu終端上依次執(zhí)行如下命令：sudoaptinstallbuild-essentialcmakepkg-configsudoaptinstalllibopenni2-devsudoaptinstalllibturbojpeg0-devsudoaptinstalllibglfw3-devsudoaptinstalllibva-devlibjpeg-dev二、OpenKinect驅(qū)動(dòng)安裝2.安裝其中，libopenni2-dev是OpenNI2項(xiàng)目提供的函數(shù)庫(kù)。OpenNI即開(kāi)放自然語(yǔ)言交互，用于3D感知的開(kāi)發(fā)接口，OpenNI2是其第二代版本，相對(duì)于第一代更加專(zhuān)注于對(duì)3D設(shè)備的支持和數(shù)據(jù)的獲取，移除了手勢(shì)識(shí)別等中間件的方式，代碼更加的精簡(jiǎn)。OpenNI2是RGBD相機(jī)的用戶態(tài)驅(qū)動(dòng)，對(duì)上提供統(tǒng)一的接口，方便用戶獲取RGBD的圖像數(shù)據(jù)，對(duì)下提供統(tǒng)一的標(biāo)準(zhǔn)類(lèi)，方便RGBD廠商進(jìn)行適配；目前OpenNI2支持的設(shè)備包括PS1080、PSLink、orbbec、Kinect等設(shè)備，由于其清晰的代碼結(jié)構(gòu)，很容易對(duì)第三方設(shè)備進(jìn)行適配。二、OpenKinect驅(qū)動(dòng)安裝2.安裝（3）獲取libfreenect2源碼。在Ubuntu終端上依次執(zhí)行如下命令：cd~gitclone（4）編譯libfreenect2并安裝驅(qū)動(dòng)。在Ubuntu終端上依次執(zhí)行如下命令：cd~/libfreenect2mkdirbuildcdbuildcmake..-DENABLE_CXX11=ON-DCUDA_PROPAGATE_HOST_FLAGS=OFF-DENABLE_CUDA=ONmakesudomakeinstall二、OpenKinect驅(qū)動(dòng)安裝2.安裝（5）為KinectV2獲得計(jì)算機(jī)USB口的訪問(wèn)權(quán)限。在Ubuntu終端上執(zhí)行如下命令：sudocp../platform/linux/udev/90-kinect2.rules/etc/udev/rules.d/（6）然后插拔KinectV2與計(jì)算機(jī)的連接線。接著測(cè)試KinectV2是否已經(jīng)能夠在該計(jì)算機(jī)上正確訪問(wèn)了。在Ubuntu終端上執(zhí)行如下命令：./bin/Protonect如果此時(shí)能夠在計(jì)算機(jī)上看到圖像，說(shuō)明已經(jīng)正確安裝了libfreenect2驅(qū)動(dòng)。二、OpenKinect驅(qū)動(dòng)安裝2.安裝（7）由于我們還需要在ROS下使用深度相機(jī)KinectV2，因此，下面還要繼續(xù)安裝libfreenect2的ROS驅(qū)動(dòng)。在Ubuntu終端上依次執(zhí)行如下命令，完成libfreenect2的ROS驅(qū)動(dòng)的源代碼下載和編譯。mkdir-p~/kinect2_bridge/src/cd~/kinect2_bridge/src/gitclonecdiai_kinect2rosdepinstall--from-paths.--ignore-srccd~/kinect2_bridgecatkin_make-DCMAKE_BUILD_TYPE="Release"二、OpenKinect驅(qū)動(dòng)安裝2.安裝（8）編譯成功，說(shuō)明libfreenect2的ROS驅(qū)動(dòng)已經(jīng)正確安裝?？梢园凑找韵虏襟E進(jìn)行測(cè)試。在Ubuntu終端上依次執(zhí)行如下命令：c