《計(jì)算機(jī)視覺》 課件 1、緒論

計(jì)算機(jī)視覺主編胡永利副主編段福慶王爽參編王少帆權(quán)豆姜華杰郭巖河戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材機(jī)械工業(yè)出版社1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典計(jì)算機(jī)視覺理論計(jì)算機(jī)視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求人類視覺人類約有80%的信息是通過視覺系統(tǒng)獲取的人類視覺的生理基礎(chǔ)：周圍環(huán)境中的物體在可見光的照射下，在人眼的視網(wǎng)膜上形成圖像，由感光細(xì)胞轉(zhuǎn)換成神經(jīng)脈沖信號(hào)，經(jīng)神經(jīng)纖維傳入大腦皮層進(jìn)行處理與理解。人類視覺電信號(hào)首先通過視神經(jīng)傳遞到大腦的初級(jí)視覺皮層（V1區(qū)），位于枕葉。隨后，這些信號(hào)被傳遞到次級(jí)視覺皮層（如V2、V3），在這些區(qū)域中，信號(hào)被用來解析更復(fù)雜的圖像屬性。進(jìn)一步的視覺信息傳遞到視覺聯(lián)合區(qū)域，如V4和V5，分別處理更細(xì)致的顏色和運(yùn)動(dòng)信息。大腦的顳葉和頂葉參與信息整合，顳葉處理面孔和物體識(shí)別，而頂葉處理空間定位和物體運(yùn)動(dòng)。1、緒論人類視覺計(jì)算機(jī)視覺機(jī)器視覺的發(fā)展經(jīng)典機(jī)器視覺理論機(jī)器視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺計(jì)算機(jī)視覺是是一門致力于使計(jì)算機(jī)能夠從圖像或視頻中“看”和“理解”現(xiàn)實(shí)世界的科學(xué)。計(jì)算機(jī)視覺試圖實(shí)現(xiàn)人類視覺的信息獲取和處理的全過程，通過對(duì)圖像和視頻的分析處理，實(shí)現(xiàn)類似人類視覺感知功能。輸入：圖像（images）或視頻（video）輸出：對(duì)象的恢復(fù)以及對(duì)對(duì)象信息的使用圖1-3計(jì)算機(jī)處理圖像的基本過程計(jì)算機(jī)視覺通過對(duì)圖像和視頻信號(hào)進(jìn)行描述、存儲(chǔ)、識(shí)別與理解，感知三維環(huán)境中物體的幾何信息，包括形狀、位置、姿態(tài)、運(yùn)動(dòng)等。視覺機(jī)理視覺信息獲?。▓D像獲取）采樣、量化、表示視覺信息處理（圖像處理）圖像預(yù)處理、濾波、變換、分割、特征表示和檢測(cè)視覺信息理解（圖像理解）三維信息恢復(fù)和重建、運(yùn)動(dòng)信息提取研究目標(biāo)：使機(jī)器像人那樣，通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論機(jī)器視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺的發(fā)展啟蒙階段（1960s-1980s）：

計(jì)算機(jī)視覺基礎(chǔ)理論探索與建立的階段LarryRoberts的博士論文標(biāo)志性地提出了從二維圖像中提取三維形狀的方法。重構(gòu)主義階段（1980s-2000s）：

傳統(tǒng)計(jì)算機(jī)視覺算法快速發(fā)展的階段建立專家系統(tǒng)來存儲(chǔ)先驗(yàn)知識(shí)，然后與實(shí)際項(xiàng)目中提取的特征進(jìn)行規(guī)則匹配。開創(chuàng)了以理解三維場(chǎng)景為目的的三維視覺研究DavidG.Lowe提出了基于知識(shí)的視覺(Knowledge-basedVision)的概念ChrisHarris和MikeStephens提出Harris角點(diǎn)檢測(cè)算法DavidLowe在1999年提出的SIFT（尺度不變特征變換）算法計(jì)算機(jī)視覺的發(fā)展分類主義階段（2000s-2010s）：

計(jì)算機(jī)視覺技術(shù)的成熟與應(yīng)用探索階段一系列關(guān)鍵技術(shù)的成熟以及新應(yīng)用的探索PaulViola和MichaelJones提出的Viola-Jones人臉檢測(cè)算法成為了第一個(gè)能夠在實(shí)時(shí)環(huán)境中進(jìn)行人臉檢測(cè)的算法支持向量機(jī)（SVM）和隨機(jī)森林等機(jī)器學(xué)習(xí)算法特征提取技術(shù)如HOG（方向梯度直方圖）和LBP（局部二值模式）大數(shù)據(jù)、大模型和大算力階段（2010s-至今）：

大數(shù)據(jù)和大算力支撐下的深度學(xué)習(xí)技術(shù)迅猛發(fā)展并出現(xiàn)大模型的階段隨著計(jì)算機(jī)運(yùn)算能力的指數(shù)級(jí)增長(zhǎng)和ImageNet、PASCAL等超大型圖片數(shù)據(jù)庫的出現(xiàn)，深度學(xué)習(xí)技術(shù)帶領(lǐng)計(jì)算機(jī)視覺開啟了一個(gè)新階段

FasterR-CNN、YOLO、GANBERT、GPT等大型預(yù)訓(xùn)練模型的適配和優(yōu)化，如OpenAI提出的CLIP模型[17]，展示了跨模態(tài)學(xué)習(xí)的巨大潛力。1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論機(jī)器視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求Marr計(jì)算視覺理論DavidMarr(1945-1980)是英國(guó)心理學(xué)家。他將心理學(xué)、人工智能和神經(jīng)生理學(xué)的結(jié)果結(jié)合起來，對(duì)視覺的研究做出了重要貢獻(xiàn)。他是計(jì)算視覺的奠基人。1982年馬爾(DavidMarr)《視覺》一書的問世，首次提出了視覺計(jì)算理論，是第一個(gè)系統(tǒng)的計(jì)算機(jī)視覺理論框架。Marr視覺理論(1) 計(jì)算理論：視覺系統(tǒng)的主要任務(wù)是從視網(wǎng)膜捕獲的二維圖像中重構(gòu)出物體的三維表面形態(tài)，這一過程通常被稱為“三維重建”。Marr將計(jì)算視覺分為三個(gè)層次：計(jì)算理論、表達(dá)與算法以及算法實(shí)現(xiàn)。(2) 表達(dá)與算法(2) 算法實(shí)現(xiàn)低層視覺中層視覺高層視覺圖像特征“要素圖”2.5D描述3D描述假定視覺系統(tǒng)是對(duì)視覺環(huán)境的被動(dòng)響應(yīng)假定視覺計(jì)算是由局部信息到整體信息的單向過程馬爾視覺計(jì)算理論認(rèn)為，物體的表達(dá)形式為該物體的三維幾何形狀。（不完全正確）軟件和硬件Marr視覺理論信息處理的三個(gè)階段低層視覺（Low-levelvision）構(gòu)成要素圖（primalsketch），要素圖由二維圖像中的邊緣點(diǎn)、直線段、曲線、頂點(diǎn)、紋理等基本幾何元素或特征組成。Marr視覺理論信息處理的三個(gè)階段中層視覺（Intermediate-levelvision）構(gòu)成對(duì)環(huán)境的2.5維描述，在以觀察者為中心的坐標(biāo)系中描述部分的、不完整的三維信息。Marr視覺理論信息處理的三個(gè)階段高層視覺（High-levelvision）從2.5維描述得到物體的完整三維描述，三維結(jié)構(gòu)在以物體為中心的坐標(biāo)系中表示。主動(dòng)視覺理論Marr計(jì)算理論的不足：

缺乏靈活性和適應(yīng)性；缺乏明確的目的性和主動(dòng)性賓夕法尼亞大學(xué)的Bajcsy提出了“主動(dòng)視覺”概念，強(qiáng)調(diào)視覺過程應(yīng)融入人與環(huán)境的交互。馬里蘭大學(xué)的Aloimonos主張視覺應(yīng)具目的性，指出在許多應(yīng)用場(chǎng)景中，嚴(yán)格的三維重建并非必需，并提出了“目的和定性視覺”的理念。主動(dòng)視覺理論主動(dòng)視覺：重點(diǎn)研究“視覺注意力”機(jī)制，即腦皮層高層區(qū)域到低層區(qū)域的反饋機(jī)制?；趶?qiáng)化學(xué)習(xí)、可變形模型、生物啟發(fā)模型以及交互式視覺機(jī)制構(gòu)建視覺系統(tǒng)，以增強(qiáng)視覺系統(tǒng)的任務(wù)驅(qū)動(dòng)能力和適應(yīng)性，包括任務(wù)驅(qū)動(dòng)的視覺模型、端到端學(xué)習(xí)、優(yōu)化視覺注意力分配、反饋機(jī)制以及多任務(wù)學(xué)習(xí)等。主動(dòng)視覺的挑戰(zhàn)在于“如何根據(jù)特定任務(wù)優(yōu)化視覺系統(tǒng)”其關(guān)鍵是能夠識(shí)別和優(yōu)先處理對(duì)完成特定任務(wù)的視覺信息。多視幾何視覺理論多視幾何：多視幾何主要研究?jī)煞鶊D像對(duì)應(yīng)點(diǎn)之間的對(duì)極幾何約束,三幅圖像對(duì)應(yīng)點(diǎn)之間的三焦張量約束，空間平面點(diǎn)到圖像點(diǎn)，或空間點(diǎn)為平面點(diǎn)投影的多幅圖像點(diǎn)之間的單應(yīng)約束等。攝像機(jī)標(biāo)定：為了提高三維重建的精度，需要對(duì)相機(jī)內(nèi)參數(shù)進(jìn)行估計(jì)。相機(jī)標(biāo)定包含二方面的內(nèi)容：“成像模型選擇”和“模型參數(shù)估計(jì)”。（根據(jù)具體相機(jī)和具體應(yīng)用確定）基于學(xué)習(xí)的視覺理論流形學(xué)習(xí)：流形學(xué)習(xí)就是從圖像表達(dá)學(xué)習(xí)其內(nèi)在流形表達(dá)的過程，這種內(nèi)在流形的學(xué)習(xí)過程一般是一種非線性優(yōu)化過程。流形學(xué)習(xí)一個(gè)困難的問題是沒有嚴(yán)格的理論來確定內(nèi)在流形的維度。深度學(xué)習(xí)：ImageNet等大規(guī)模圖像數(shù)據(jù)集的出現(xiàn)VGG、AlexNet、ResNet等深度學(xué)習(xí)網(wǎng)絡(luò)模型LLMs1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論計(jì)算機(jī)視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺的應(yīng)用領(lǐng)域安全監(jiān)控工業(yè)檢測(cè)軍事國(guó)防遙感氣象醫(yī)學(xué)診斷文化教育智能交通娛樂影視……安全監(jiān)控工業(yè)檢測(cè)軍事國(guó)防遙感氣象醫(yī)學(xué)診斷計(jì)算機(jī)視覺面臨的挑戰(zhàn)

人類視覺機(jī)理還不是完全清楚視覺感知技術(shù)有待變革多模態(tài)融合需要深入探索面向復(fù)雜開放場(chǎng)景的模型泛化性亟待提高……1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論計(jì)算機(jī)視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求課程內(nèi)容和安排章節(jié)名稱教學(xué)內(nèi)容及重點(diǎn)（▲）、難點(diǎn)（★）第一章

緒論1.1機(jī)器視覺1.2計(jì)算機(jī)視覺▲1.3機(jī)器視覺的發(fā)展▲1.4經(jīng)典機(jī)器視覺理論▲1.5計(jì)算機(jī)視覺的應(yīng)用與挑戰(zhàn)▲第二章

圖像表示和處理2.1圖像表示▲2.2圖像的基本性質(zhì)▲2.3圖像處理數(shù)學(xué)基礎(chǔ)▲2.4圖像處理▲第三章

點(diǎn)特征表示3.1圖像點(diǎn)特征表示▲★3.2圖像特征點(diǎn)檢測(cè)算法

3.3圖像點(diǎn)特征應(yīng)用▲★第四章線特征表示4.1邊緣檢測(cè)4.2Snake模型▲4.3ASM/AAM模型

4.4霍夫變換第五章區(qū)域分割5.1區(qū)域分割的定義5.2傳統(tǒng)數(shù)字圖像區(qū)域分割算法▲★5.3基于深度學(xué)習(xí)的區(qū)域分割算法▲★章節(jié)名稱教學(xué)內(nèi)容及重點(diǎn)（▲）、難點(diǎn)（★）第六章紋理分析6.1紋理的概念▲★6.2經(jīng)典紋理分析方法▲★6.3基于深度學(xué)習(xí)的紋理分析方法▲★第七章攝像機(jī)成像模型7.1成像原理▲★7.2攝像機(jī)成像模型▲7.3攝像機(jī)標(biāo)定▲★第八章三維立體視覺重建8.1三維重建介紹▲★8.2多視幾何▲★8.3三維重建技術(shù)▲★8.4其他三維重建技術(shù)▲★第九章運(yùn)動(dòng)分析9.1運(yùn)動(dòng)分析簡(jiǎn)介▲9.2時(shí)間差分法▲★9.3背景減除法▲9.4光流法▲★第10章計(jì)算機(jī)視覺應(yīng)用10.1圖像分類▲10.2目標(biāo)檢測(cè)▲10.3目標(biāo)跟蹤▲課程要求基礎(chǔ)知識(shí)數(shù)學(xué)、圖像處理、圖形學(xué)、模式識(shí)別、人工智能、機(jī)器學(xué)習(xí)C/C++,matlab，Python程序設(shè)計(jì)參考文獻(xiàn)ComputerVision:AModernApproach,D.A.ForsythandJ.Ponce,2003,PearsonEducation；ImageProcessing,Analysis,andMachine,M.Sonka,V.Hlavac,andR.Boyle,2004,ThomsonLearning;ComputerVision:AlgorithmsandApplications,2ndEdition,RichardSzeliski,2022,Springer;計(jì)算機(jī)視覺——計(jì)算機(jī)理論與算法基礎(chǔ)，馬頌德，張正友，1998，科學(xué)出版社;計(jì)算機(jī)視覺——算法與系統(tǒng)原理，高文，陳熙霖，1999，清華大學(xué)出版社，廣西科學(xué)技術(shù)出版社CVPR,ICCV，ECCV，ACCV；IJCV機(jī)器視覺與其他學(xué)科的關(guān)系圖像處理(ImageProcessing)圖像處理，人是最終的解釋者計(jì)算機(jī)視