計(jì)算機(jī)視覺(jué)的困惑

計(jì)算機(jī)視覺(jué)的現(xiàn)狀與困惑測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室李德仁2011年11月26日武漢弘毅講堂2011主要內(nèi)容什么是計(jì)算機(jī)視覺(jué)？如何用計(jì)算機(jī)視覺(jué)模擬人眼？計(jì)算機(jī)視覺(jué)存在的困惑結(jié)束語(yǔ)什么是計(jì)算機(jī)視覺(jué)？——定義1 –fromK.Kanatani,“StatisticalOptimizationforGeometricComputation:TheoryandPractics”,1996.“從視頻影像中提取三維信息，進(jìn)行三維場(chǎng)景建模，稱為計(jì)算機(jī)視覺(jué)，或者影像理解，是當(dāng)今世界最受關(guān)注的研究領(lǐng)域之一”“計(jì)算機(jī)視覺(jué)是通過(guò)計(jì)算機(jī)輔助，用二維圖像認(rèn)知三維環(huán)境，該學(xué)科旨在為計(jì)算機(jī)和機(jī)器人開(kāi)發(fā)出具有與人類水平相當(dāng)?shù)囊曈X(jué)能力”什么是計(jì)算機(jī)視覺(jué)？——定義2《計(jì)算機(jī)視覺(jué)－計(jì)算理論與算法基礎(chǔ)》馬頌德,張正友,1998.“計(jì)算機(jī)視覺(jué)是通過(guò)計(jì)算機(jī)硬件和軟件，從二維圖像(單張,多張和視頻影像)中自動(dòng)提取圖像目標(biāo)及其環(huán)境的幾何(形狀,大小,位置等非語(yǔ)義信息)和物理特性(性質(zhì),類別，屬性等語(yǔ)義信息),獲得與人類視覺(jué)水平相當(dāng)?shù)囊曈X(jué)能力”什么是計(jì)算機(jī)視覺(jué)？如何用計(jì)算機(jī)模擬人眼？影像處理計(jì)算機(jī)圖形學(xué)幾何屬性(3D)物理屬性影像(2D)+視差原理計(jì)算機(jī)視覺(jué)深度、大小、形狀、位置等幾何信息特征提取與模式識(shí)別對(duì)象、屬性、關(guān)系、行為等語(yǔ)義信息基本問(wèn)題：給定一個(gè)目標(biāo)或者場(chǎng)景的若干不同視角的影像，重建該目標(biāo)的三維形狀

計(jì)算機(jī)視覺(jué)探測(cè)幾何屬性從生理視差到人造視差多目立體攝影測(cè)量系統(tǒng)智能化近景攝影測(cè)量網(wǎng)絡(luò)支撐基座，相當(dāng)于肩部基線的長(zhǎng)度可變，以適應(yīng)攝影測(cè)量的不同幾何精度要求立體攝影機(jī)多目立體攝影測(cè)量系統(tǒng)多目立體攝影測(cè)量系統(tǒng)拍攝的多視角敦煌壁畫(huà)三維重建結(jié)果(fromimagestosurface)多目立體攝影測(cè)量系統(tǒng)不同視角的帽子圖像，帽子上的紋理是為了精確匹配和識(shí)別三維重建結(jié)果敦煌月牙泉–CrescentSpring尋找隕石火星表面三維實(shí)時(shí)建模智能機(jī)器人激光掃描重建激光掃描重建TLSPointcloudDCImageStereocameraStereoimageTotalstationControlpointsALSPointcloudImageDem+DomFacadeMuralandStatueAncientbuildingDigitaldocumentation作業(yè)流程(Workingflow)MappingPreprocessingshootingLaserScanningModelingObjectPointCloudSurfaceModelRawImageTextureTexturedModel3.2PointclouddataprocessingTINofastatuaryin196caveModelofastatuaryin196caveTINof285caveModelof285cave3.6Results–196Cave基于機(jī)載和地面激光雷達(dá)的三維數(shù)字莫高窟計(jì)算機(jī)視覺(jué)提取物理屬性的方法Datadriven

基于灰度和光譜(GrayLevels)

基于特征(Features)

基于結(jié)構(gòu)和紋理(StructureandTexture)

基于內(nèi)容(Content)

……如何用計(jì)算機(jī)模擬人眼？線性特征如何用計(jì)算機(jī)模擬人眼？紋理特征如何用計(jì)算機(jī)模擬人眼？形狀特征基于內(nèi)容的圖像檢索無(wú)需人為干預(yù)和解釋，通過(guò)計(jì)算機(jī)自動(dòng)實(shí)現(xiàn)對(duì)圖像的視覺(jué)內(nèi)容(顏色、紋理、形狀等)進(jìn)行分析、檢索和存儲(chǔ)。特征提取自動(dòng)檢索查詢影像檢索詞：云層、植被人眼檢索特征明顯、結(jié)果精確，但疲勞、耗時(shí)電腦檢索錯(cuò)檢、漏檢、特征提取困難，但節(jié)省人力基于內(nèi)容的圖像檢索華盛頓機(jī)載高光譜影像光譜用遙感影像確定地物屬性紋理形狀對(duì)象利用超光譜圖像進(jìn)行識(shí)別光譜反射曲線影像立方體ABC計(jì)算機(jī)識(shí)別人臉計(jì)算機(jī)識(shí)別人臉多尺度S1S1C1多方向流程樣本特征提取模式識(shí)別決策人眼識(shí)別精確、快速、耗時(shí)電腦檢索存在錯(cuò)誤、節(jié)省人力、特征難以確定計(jì)算機(jī)視覺(jué)的困惑計(jì)算機(jī)視覺(jué)可以比人類視覺(jué)有更強(qiáng)的幾何信息提取功能(where),但對(duì)語(yǔ)義信息的提取功能(what)卻遠(yuǎn)遠(yuǎn)低于人類視覺(jué);計(jì)算機(jī)視覺(jué)尚不了解人類視覺(jué)感知和認(rèn)知的過(guò)程,也不了解人類視覺(jué)中的記憶,聯(lián)想,對(duì)比等在視覺(jué)認(rèn)知中是如何起作用的.計(jì)算機(jī)識(shí)別人臉=？計(jì)算機(jī)很難用上述方法區(qū)分相同特征的人和狗“Sally”計(jì)算機(jī)識(shí)別人臉特征提取模式分類特征提取模式分類Who?計(jì)算機(jī)視覺(jué)提取物理屬性的方法Knowledgedriven

基于地學(xué)知識(shí)

基于3D先驗(yàn)知識(shí)(DOM,DEM,DLG)

基于數(shù)據(jù)挖掘(DataMining)

基于信息融合(InformationFusion)

……33ScientificAmerican2003V1神經(jīng)元的信號(hào),穿越視網(wǎng)膜,到達(dá)大腦后部的第十七區(qū)(Area17),在此,這些信號(hào)被分解為一些簡(jiǎn)單的共性,如:色彩,形態(tài),運(yùn)動(dòng)和深度等.結(jié)束語(yǔ)計(jì)算機(jī)視覺(jué)提取幾何信息(感知)比人強(qiáng),提取物理信息(認(rèn)知)遠(yuǎn)比人差;計(jì)算機(jī)視覺(jué)的發(fā)展應(yīng)堅(jiān)持?jǐn)?shù)據(jù)導(dǎo)引與知識(shí)導(dǎo)引的集成;計(jì)算機(jī)視覺(jué)的進(jìn)一步發(fā)展需要求助于醫(yī)學(xué)家心理學(xué)家和生理學(xué)家的幫助;多學(xué)科的交叉是必要的和有價(jià)值的也是可能的，歡迎有更多的各學(xué)科領(lǐng)域的專家合作,以實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)的全自動(dòng)化。地球空間信息學(xué)的使命(1)從本質(zhì)上講，地球空間信息學(xué)應(yīng)作為認(rèn)知科學(xué)的一個(gè)組成部分，它要研究和解決如何從各種對(duì)地觀測(cè)數(shù)據(jù)中智能地提取信息和知識(shí)的問(wèn)題，從而實(shí)現(xiàn)數(shù)據(jù)—信息—知識(shí)的自動(dòng)轉(zhuǎn)化。來(lái)自衛(wèi)星導(dǎo)航定位系統(tǒng)（GNSS）的對(duì)地觀測(cè)數(shù)據(jù)是以點(diǎn)方式記錄的電磁波信號(hào)，代表從衛(wèi)星到達(dá)地面目標(biāo)點(diǎn)的相位和時(shí)延；來(lái)自光學(xué)遙感（RS）衛(wèi)星的數(shù)據(jù)是面方式的反映地表光譜反射率的灰度矩陣；來(lái)自SAR衛(wèi)星的數(shù)據(jù)是衛(wèi)星后向反射到目標(biāo)的相位和振幅記錄。這些不同類型的電磁波信號(hào)均要穿過(guò)大氣的電離層和對(duì)流層，會(huì)對(duì)原始信號(hào)產(chǎn)生干擾和影響，所以地球空間信息學(xué)的感知和認(rèn)知涉及到各類傳感器的建模、校正與標(biāo)定，自主定位與定姿，各類數(shù)據(jù)的預(yù)處理與精處理，特征提取與目標(biāo)識(shí)別，語(yǔ)義與非語(yǔ)義信息的提取，信息融合與集成，以及空間數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)等方面，是一個(gè)復(fù)雜的反演問(wèn)題。當(dāng)前，隨著衛(wèi)星通信技術(shù)和嵌入式通用計(jì)算技術(shù)的發(fā)展，為適應(yīng)應(yīng)急任務(wù)對(duì)航天信息感知和認(rèn)知的實(shí)時(shí)要求，在軌處理和嵌入式實(shí)時(shí)智能化處理以實(shí)現(xiàn)數(shù)據(jù)—信息—知識(shí)自動(dòng)轉(zhuǎn)化的問(wèn)題已提到日程上來(lái)。實(shí)時(shí)在軌處理的智能對(duì)地觀測(cè)衛(wèi)星系統(tǒng)（IEOS）地球空間信息學(xué)的使命(2)地球空間信息學(xué)又是一門(mén)面向經(jīng)濟(jì)建設(shè)、國(guó)防建設(shè)和大眾民生應(yīng)用需求的服務(wù)科學(xué)。它需要從理解用戶的自然語(yǔ)言入手，搜索可用來(lái)回答用戶需求的數(shù)據(jù)，優(yōu)選提取信息和知識(shí)的工具，形成合理的數(shù)據(jù)流與服務(wù)鏈，通過(guò)網(wǎng)絡(luò)通信的方式，將有用的信息和知識(shí)及時(shí)送達(dá)給用戶。從這個(gè)意義上看，地球空間信息服務(wù)的最高標(biāo)準(zhǔn)是在規(guī)定的時(shí)間（RightTime）將所需位置（RightPlace）上的正確數(shù)據(jù)/信息/知識(shí)（RightData/Information/Knowledge）送到需要的人手上（RightPerson）。面向任務(wù)的地球空間信息聚焦服務(wù)，將長(zhǎng)期以來(lái)數(shù)據(jù)導(dǎo)引的產(chǎn)品制作和分發(fā)模式轉(zhuǎn)變成需求導(dǎo)引的聚焦服務(wù)模式，從而解決目前對(duì)地觀測(cè)數(shù)據(jù)又多、又少的矛盾，實(shí)現(xiàn)服務(wù)代替產(chǎn)品，適應(yīng)當(dāng)今信息時(shí)代的需求。地球空間信息資源網(wǎng)絡(luò)服務(wù)概念模型空天地一體化信息網(wǎng)絡(luò)空間數(shù)據(jù)資源處理資源數(shù)據(jù)注冊(cè)數(shù)據(jù)獲取服務(wù)組合服務(wù)空天地傳感器資源分布式注冊(cè)服務(wù)中心知識(shí)發(fā)現(xiàn)服務(wù)處理服務(wù)傳感器規(guī)劃服務(wù)傳感器注冊(cè)地學(xué)知識(shí)資源處理注冊(cè)計(jì)算資源網(wǎng)絡(luò)資源存儲(chǔ)資源知識(shí)注冊(cè)可視化服務(wù)服務(wù)質(zhì)量評(píng)價(jià)空間信息資源空間信息注冊(cè)

軟硬件基礎(chǔ)設(shè)施服務(wù)1)云計(jì)算與服務(wù)技術(shù)

2)基于云計(jì)算平臺(tái)的遙感圖像處理系統(tǒng)3) 基于云計(jì)算平臺(tái)的空間信息處理服務(wù)計(jì)算設(shè)施軟件架構(gòu)測(cè)繪成果共享方式從紙質(zhì)復(fù)印-文件拷貝-網(wǎng)絡(luò)共享-面向服務(wù)架構(gòu)的服務(wù)發(fā)布。1970s小型機(jī)1960s大型機(jī)1980s個(gè)人電腦和局域網(wǎng)1990s桌面互聯(lián)網(wǎng)2000s移動(dòng)互聯(lián)網(wǎng)面向過(guò)程1970s面向?qū)ο?980s面向構(gòu)件1990s面向領(lǐng)域2000s面向服務(wù)SOC2010s從以計(jì)算機(jī)為中心，到以網(wǎng)絡(luò)為中心，再到以人為中心紙質(zhì)復(fù)印基于云計(jì)算的注冊(cè)服務(wù)文件拷貝數(shù)據(jù)庫(kù)共享虛擬服務(wù)服務(wù)器集群和虛擬化專業(yè)服務(wù)導(dǎo)致服務(wù)器多樣化更多任務(wù)由服務(wù)器承擔(dān)服務(wù)器登場(chǎng)瀏覽器/服務(wù)器客戶機(jī)/服務(wù)器服務(wù)器井噴…服務(wù)器托管服務(wù)器托管形成市場(chǎng)搜索服務(wù)器視頻服務(wù)器安全服務(wù)器郵件服務(wù)器數(shù)據(jù)服務(wù)器互聯(lián)網(wǎng)資源配置的變遷出現(xiàn)了基于云計(jì)算的空間信息服務(wù)互聯(lián)網(wǎng)環(huán)境下空間信息從數(shù)據(jù)共享、信息共享走向服務(wù)共享

共享計(jì)算能力為主的服務(wù)共享存儲(chǔ)能力為主的服務(wù)共享交互能力為主的服務(wù)依托互聯(lián)網(wǎng)，隨時(shí)隨地獲得個(gè)性化空間信息服務(wù)基于Internet的空間信息服務(wù)云計(jì)算使空間信息服務(wù)可在更大范圍部署上海北京深圳云計(jì)算中心內(nèi)部的生態(tài)鏈

互聯(lián)網(wǎng)上大量計(jì)算資源和服務(wù)器井噴

如Google,Amazon,Hotmail…各自獨(dú)立提供網(wǎng)絡(luò)服務(wù)

基礎(chǔ)設(shè)施服務(wù)商如AmazonWebservices搜索論壇郵件購(gòu)物…聊天軟件服務(wù)商如Googlemap和Apple服務(wù)平臺(tái)服務(wù)商如和GoogleAPPEngine軟件服務(wù)商如salesforce軟件集成服務(wù)商如programmableweb知名軟件服務(wù)商同時(shí)也可以成為其它SaaS供應(yīng)商的基礎(chǔ)平臺(tái)云計(jì)算與服務(wù)技術(shù)MicrosoftAzureGoogleAppEngineAmazonEC2&S3基礎(chǔ)設(shè)施作為服務(wù)(InfrastructureasaService(IaaS))平臺(tái)作為服務(wù)(PlatformasaService(PaaS))軟件作為服務(wù)(SoftwareasaService(SaaS)OpenRS-Cloud技術(shù)體系2)基于云計(jì)算平臺(tái)的遙感圖像處理系統(tǒng)OpenRSOpenRS-CloudWeb型的算法提交界面可直接獲取和設(shè)定位于云端的算法插件的參數(shù)信息；可直接利用遠(yuǎn)程集群進(jìn)行并行處理；集成WebGIS技術(shù)查找感興趣遙感圖像OpenRS-Cloud任務(wù)進(jìn)度查看通過(guò)瀏覽器可直接查看任務(wù)的執(zhí)行狀況子任務(wù)的分解與合并子任務(wù)LOG實(shí)時(shí)輸出子任務(wù)的運(yùn)行進(jìn)度OpenRS-Cloud處理結(jié)果展示可以直接在瀏覽器上查看處理結(jié)果，左圖展示了EDISON邊緣提取算法，右圖為KMean分類OpenRS-Cloud通過(guò)WebService提供桌面級(jí)調(diào)用接口桌面程序直接利用OpenRS-Cloud的WebService接口實(shí)現(xiàn)并行鑲嵌與糾正一個(gè)洪水淹沒(méi)的計(jì)算實(shí)例分布式異構(gòu)地球空間信息處理服務(wù)服務(wù)鏈建立服務(wù)鏈