《計(jì)算機(jī)視覺》 課件全套 1、緒論- 10、計(jì)算機(jī)視覺應(yīng)用

計(jì)算機(jī)視覺戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典計(jì)算機(jī)視覺理論計(jì)算機(jī)視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求人類視覺人類約有80%的信息是通過視覺系統(tǒng)獲取的人類視覺的生理基礎(chǔ)：周圍環(huán)境中的物體在可見光的照射下，在人眼的視網(wǎng)膜上形成圖像，由感光細(xì)胞轉(zhuǎn)換成神經(jīng)脈沖信號(hào)，經(jīng)神經(jīng)纖維傳入大腦皮層進(jìn)行處理與理解。人類視覺電信號(hào)首先通過視神經(jīng)傳遞到大腦的初級(jí)視覺皮層（V1區(qū)），位于枕葉。隨后，這些信號(hào)被傳遞到次級(jí)視覺皮層（如V2、V3），在這些區(qū)域中，信號(hào)被用來解析更復(fù)雜的圖像屬性。進(jìn)一步的視覺信息傳遞到視覺聯(lián)合區(qū)域，如V4和V5，分別處理更細(xì)致的顏色和運(yùn)動(dòng)信息。大腦的顳葉和頂葉參與信息整合，顳葉處理面孔和物體識(shí)別，而頂葉處理空間定位和物體運(yùn)動(dòng)。1、緒論人類視覺計(jì)算機(jī)視覺機(jī)器視覺的發(fā)展經(jīng)典機(jī)器視覺理論機(jī)器視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺計(jì)算機(jī)視覺是是一門致力于使計(jì)算機(jī)能夠從圖像或視頻中“看”和“理解”現(xiàn)實(shí)世界的科學(xué)。計(jì)算機(jī)視覺試圖實(shí)現(xiàn)人類視覺的信息獲取和處理的全過程，通過對(duì)圖像和視頻的分析處理，實(shí)現(xiàn)類似人類視覺感知功能。輸入：圖像（images）或視頻（video）輸出：對(duì)象的恢復(fù)以及對(duì)對(duì)象信息的使用圖1-3計(jì)算機(jī)處理圖像的基本過程計(jì)算機(jī)視覺通過對(duì)圖像和視頻信號(hào)進(jìn)行描述、存儲(chǔ)、識(shí)別與理解，感知三維環(huán)境中物體的幾何信息，包括形狀、位置、姿態(tài)、運(yùn)動(dòng)等。視覺機(jī)理視覺信息獲?。▓D像獲取）采樣、量化、表示視覺信息處理（圖像處理）圖像預(yù)處理、濾波、變換、分割、特征表示和檢測視覺信息理解（圖像理解）三維信息恢復(fù)和重建、運(yùn)動(dòng)信息提取研究目標(biāo)：使機(jī)器像人那樣，通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論機(jī)器視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺的發(fā)展啟蒙階段（1960s-1980s）：

計(jì)算機(jī)視覺基礎(chǔ)理論探索與建立的階段LarryRoberts的博士論文標(biāo)志性地提出了從二維圖像中提取三維形狀的方法。重構(gòu)主義階段（1980s-2000s）：

傳統(tǒng)計(jì)算機(jī)視覺算法快速發(fā)展的階段建立專家系統(tǒng)來存儲(chǔ)先驗(yàn)知識(shí)，然后與實(shí)際項(xiàng)目中提取的特征進(jìn)行規(guī)則匹配。開創(chuàng)了以理解三維場景為目的的三維視覺研究DavidG.Lowe提出了基于知識(shí)的視覺(Knowledge-basedVision)的概念ChrisHarris和MikeStephens提出Harris角點(diǎn)檢測算法DavidLowe在1999年提出的SIFT（尺度不變特征變換）算法計(jì)算機(jī)視覺的發(fā)展分類主義階段（2000s-2010s）：

計(jì)算機(jī)視覺技術(shù)的成熟與應(yīng)用探索階段一系列關(guān)鍵技術(shù)的成熟以及新應(yīng)用的探索PaulViola和MichaelJones提出的Viola-Jones人臉檢測算法成為了第一個(gè)能夠在實(shí)時(shí)環(huán)境中進(jìn)行人臉檢測的算法支持向量機(jī)（SVM）和隨機(jī)森林等機(jī)器學(xué)習(xí)算法特征提取技術(shù)如HOG（方向梯度直方圖）和LBP（局部二值模式）大數(shù)據(jù)、大模型和大算力階段（2010s-至今）：

大數(shù)據(jù)和大算力支撐下的深度學(xué)習(xí)技術(shù)迅猛發(fā)展并出現(xiàn)大模型的階段隨著計(jì)算機(jī)運(yùn)算能力的指數(shù)級(jí)增長和ImageNet、PASCAL等超大型圖片數(shù)據(jù)庫的出現(xiàn)，深度學(xué)習(xí)技術(shù)帶領(lǐng)計(jì)算機(jī)視覺開啟了一個(gè)新階段

FasterR-CNN、YOLO、GANBERT、GPT等大型預(yù)訓(xùn)練模型的適配和優(yōu)化，如OpenAI提出的CLIP模型[17]，展示了跨模態(tài)學(xué)習(xí)的巨大潛力。1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論機(jī)器視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求Marr計(jì)算視覺理論DavidMarr(1945-1980)是英國心理學(xué)家。他將心理學(xué)、人工智能和神經(jīng)生理學(xué)的結(jié)果結(jié)合起來，對(duì)視覺的研究做出了重要貢獻(xiàn)。他是計(jì)算視覺的奠基人。1982年馬爾(DavidMarr)《視覺》一書的問世，首次提出了視覺計(jì)算理論，是第一個(gè)系統(tǒng)的計(jì)算機(jī)視覺理論框架。Marr視覺理論(1) 計(jì)算理論：視覺系統(tǒng)的主要任務(wù)是從視網(wǎng)膜捕獲的二維圖像中重構(gòu)出物體的三維表面形態(tài)，這一過程通常被稱為“三維重建”。Marr將計(jì)算視覺分為三個(gè)層次：計(jì)算理論、表達(dá)與算法以及算法實(shí)現(xiàn)。(2) 表達(dá)與算法(2) 算法實(shí)現(xiàn)低層視覺中層視覺高層視覺圖像特征“要素圖”2.5D描述3D描述假定視覺系統(tǒng)是對(duì)視覺環(huán)境的被動(dòng)響應(yīng)假定視覺計(jì)算是由局部信息到整體信息的單向過程馬爾視覺計(jì)算理論認(rèn)為，物體的表達(dá)形式為該物體的三維幾何形狀。（不完全正確）軟件和硬件Marr視覺理論信息處理的三個(gè)階段低層視覺（Low-levelvision）構(gòu)成要素圖（primalsketch），要素圖由二維圖像中的邊緣點(diǎn)、直線段、曲線、頂點(diǎn)、紋理等基本幾何元素或特征組成。Marr視覺理論信息處理的三個(gè)階段中層視覺（Intermediate-levelvision）構(gòu)成對(duì)環(huán)境的2.5維描述，在以觀察者為中心的坐標(biāo)系中描述部分的、不完整的三維信息。Marr視覺理論信息處理的三個(gè)階段高層視覺（High-levelvision）從2.5維描述得到物體的完整三維描述，三維結(jié)構(gòu)在以物體為中心的坐標(biāo)系中表示。主動(dòng)視覺理論Marr計(jì)算理論的不足：

缺乏靈活性和適應(yīng)性；缺乏明確的目的性和主動(dòng)性賓夕法尼亞大學(xué)的Bajcsy提出了“主動(dòng)視覺”概念，強(qiáng)調(diào)視覺過程應(yīng)融入人與環(huán)境的交互。馬里蘭大學(xué)的Aloimonos主張視覺應(yīng)具目的性，指出在許多應(yīng)用場景中，嚴(yán)格的三維重建并非必需，并提出了“目的和定性視覺”的理念。主動(dòng)視覺理論主動(dòng)視覺：重點(diǎn)研究“視覺注意力”機(jī)制，即腦皮層高層區(qū)域到低層區(qū)域的反饋機(jī)制。基于強(qiáng)化學(xué)習(xí)、可變形模型、生物啟發(fā)模型以及交互式視覺機(jī)制構(gòu)建視覺系統(tǒng)，以增強(qiáng)視覺系統(tǒng)的任務(wù)驅(qū)動(dòng)能力和適應(yīng)性，包括任務(wù)驅(qū)動(dòng)的視覺模型、端到端學(xué)習(xí)、優(yōu)化視覺注意力分配、反饋機(jī)制以及多任務(wù)學(xué)習(xí)等。主動(dòng)視覺的挑戰(zhàn)在于“如何根據(jù)特定任務(wù)優(yōu)化視覺系統(tǒng)”其關(guān)鍵是能夠識(shí)別和優(yōu)先處理對(duì)完成特定任務(wù)的視覺信息。多視幾何視覺理論多視幾何：多視幾何主要研究兩幅圖像對(duì)應(yīng)點(diǎn)之間的對(duì)極幾何約束,三幅圖像對(duì)應(yīng)點(diǎn)之間的三焦張量約束，空間平面點(diǎn)到圖像點(diǎn)，或空間點(diǎn)為平面點(diǎn)投影的多幅圖像點(diǎn)之間的單應(yīng)約束等。攝像機(jī)標(biāo)定：為了提高三維重建的精度，需要對(duì)相機(jī)內(nèi)參數(shù)進(jìn)行估計(jì)。相機(jī)標(biāo)定包含二方面的內(nèi)容：“成像模型選擇”和“模型參數(shù)估計(jì)”。（根據(jù)具體相機(jī)和具體應(yīng)用確定）基于學(xué)習(xí)的視覺理論流形學(xué)習(xí)：流形學(xué)習(xí)就是從圖像表達(dá)學(xué)習(xí)其內(nèi)在流形表達(dá)的過程，這種內(nèi)在流形的學(xué)習(xí)過程一般是一種非線性優(yōu)化過程。流形學(xué)習(xí)一個(gè)困難的問題是沒有嚴(yán)格的理論來確定內(nèi)在流形的維度。深度學(xué)習(xí)：ImageNet等大規(guī)模圖像數(shù)據(jù)集的出現(xiàn)VGG、AlexNet、ResNet等深度學(xué)習(xí)網(wǎng)絡(luò)模型LLMs1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論計(jì)算機(jī)視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求計(jì)算機(jī)視覺的應(yīng)用領(lǐng)域安全監(jiān)控工業(yè)檢測軍事國防遙感氣象醫(yī)學(xué)診斷文化教育智能交通娛樂影視……安全監(jiān)控工業(yè)檢測軍事國防遙感氣象醫(yī)學(xué)診斷計(jì)算機(jī)視覺面臨的挑戰(zhàn)

人類視覺機(jī)理還不是完全清楚視覺感知技術(shù)有待變革多模態(tài)融合需要深入探索面向復(fù)雜開放場景的模型泛化性亟待提高……1、緒論人類視覺計(jì)算機(jī)視覺計(jì)算機(jī)視覺的發(fā)展經(jīng)典機(jī)器視覺理論計(jì)算機(jī)視覺的應(yīng)用和挑戰(zhàn)課程內(nèi)容及要求課程內(nèi)容和安排章節(jié)名稱教學(xué)內(nèi)容及重點(diǎn)（▲）、難點(diǎn)（★）第一章

緒論1.1機(jī)器視覺1.2計(jì)算機(jī)視覺▲1.3機(jī)器視覺的發(fā)展▲1.4經(jīng)典機(jī)器視覺理論▲1.5計(jì)算機(jī)視覺的應(yīng)用與挑戰(zhàn)▲第二章

圖像表示和處理2.1圖像表示▲2.2圖像的基本性質(zhì)▲2.3圖像處理數(shù)學(xué)基礎(chǔ)▲2.4圖像處理▲第三章

點(diǎn)特征表示3.1圖像點(diǎn)特征表示▲★3.2圖像特征點(diǎn)檢測算法

3.3圖像點(diǎn)特征應(yīng)用▲★第四章線特征表示4.1邊緣檢測4.2Snake模型▲4.3ASM/AAM模型

4.4霍夫變換第五章區(qū)域分割5.1區(qū)域分割的定義5.2傳統(tǒng)數(shù)字圖像區(qū)域分割算法▲★5.3基于深度學(xué)習(xí)的區(qū)域分割算法▲★章節(jié)名稱教學(xué)內(nèi)容及重點(diǎn)（▲）、難點(diǎn)（★）第六章紋理分析6.1紋理的概念▲★6.2經(jīng)典紋理分析方法▲★6.3基于深度學(xué)習(xí)的紋理分析方法▲★第七章攝像機(jī)成像模型7.1成像原理▲★7.2攝像機(jī)成像模型▲7.3攝像機(jī)標(biāo)定▲★第八章三維立體視覺重建8.1三維重建介紹▲★8.2多視幾何▲★8.3三維重建技術(shù)▲★8.4其他三維重建技術(shù)▲★第九章運(yùn)動(dòng)分析9.1運(yùn)動(dòng)分析簡介▲9.2時(shí)間差分法▲★9.3背景減除法▲9.4光流法▲★第10章計(jì)算機(jī)視覺應(yīng)用10.1圖像分類▲10.2目標(biāo)檢測▲10.3目標(biāo)跟蹤▲課程要求基礎(chǔ)知識(shí)數(shù)學(xué)、圖像處理、圖形學(xué)、模式識(shí)別、人工智能、機(jī)器學(xué)習(xí)C/C++,matlab，Python程序設(shè)計(jì)參考文獻(xiàn)ComputerVision:AModernApproach,D.A.ForsythandJ.Ponce,2003,PearsonEducation；ImageProcessing,Analysis,andMachine,M.Sonka,V.Hlavac,andR.Boyle,2004,ThomsonLearning;ComputerVision:AlgorithmsandApplications,2ndEdition,RichardSzeliski,2022,Springer;計(jì)算機(jī)視覺——計(jì)算機(jī)理論與算法基礎(chǔ)，馬頌德，張正友，1998，科學(xué)出版社;計(jì)算機(jī)視覺——算法與系統(tǒng)原理，高文，陳熙霖，1999，清華大學(xué)出版社，廣西科學(xué)技術(shù)出版社CVPR,ICCV，ECCV，ACCV；IJCV機(jī)器視覺與其他學(xué)科的關(guān)系圖像處理(ImageProcessing)圖像處理，人是最終的解釋者計(jì)算機(jī)視覺，計(jì)算機(jī)是圖像的解釋者模式識(shí)別(PatternRecognition)根據(jù)從圖像中抽取的統(tǒng)計(jì)特性或結(jié)構(gòu)信息，把圖像分成設(shè)定的類別人工智能（Artificialintelligence）主要研究智能系統(tǒng)的設(shè)計(jì)和有關(guān)智能的計(jì)算理論與方法計(jì)算機(jī)圖形學(xué)（ComputerGraphics）計(jì)算機(jī)圖形學(xué)是一種使用數(shù)學(xué)算法將二維或三維圖形轉(zhuǎn)化為計(jì)算機(jī)顯示器的柵格形式的科學(xué)機(jī)器視覺：從二維圖像數(shù)據(jù)到三維描述機(jī)器視覺與其他學(xué)科的關(guān)系計(jì)算機(jī)圖形學(xué)謝謝！計(jì)算機(jī)視覺戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像表示圖像表示將連續(xù)函數(shù)采樣(sampled)為M行N列的矩陣將每個(gè)連續(xù)樣本量化(quantization)為一個(gè)整數(shù)值，即圖像函數(shù)的連續(xù)范圍被分成了K個(gè)區(qū)間采樣和量化的越精細(xì)，即增大M,N,K，連續(xù)圖像函數(shù)的近似性越好圖像表示連續(xù)圖像函數(shù)f(x,y)可通過平面上離散的柵格點(diǎn)來采樣圖像采樣點(diǎn)：兩個(gè)相鄰采樣點(diǎn)間，在x軸和y軸上的距離分別是Δx和Δy，稱距離Δx和Δy為采樣間隔，采樣后得到的矩陣fs(mΔx,nΔy)構(gòu)成了離散圖像采樣圖像是連續(xù)圖像函數(shù)f(x,y)與采樣函數(shù)s(x,y)的乘積圖像表示根據(jù)Shannon采樣定理即采樣間隔應(yīng)小于或等于圖像中感興趣的最小細(xì)節(jié)尺寸的一半。圖像表示采樣量化將采樣后的圖像fs(mΔx,nΔy)的像素值用一個(gè)整數(shù)來表示,為了是人能夠覺察出圖像的細(xì)微變化,量化的級(jí)別要足夠高大部分的圖像處理儀器都采用k個(gè)等間隔的量化方式,如果用b位來表示像素亮度的數(shù)值，那么亮度階就是k=2b通常使用每個(gè)像素8個(gè)比特，特殊的測量設(shè)備每個(gè)像素使用12個(gè)或更多的比特2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像的基本性質(zhì)距離(distance)兩點(diǎn)p(x,y)和q(u,v)之間的距離:歐氏距離：城區(qū)距離：棋盤距離：

圖像的基本性質(zhì)像素鄰接性(adjacency)4－鄰接：任意兩像素之間的距離為D4＝18－鄰接：任意兩像素之間的距離為D8＝1區(qū)域(region):由一些彼此鄰接的像素組成的集合連通性(contiguous)連通：一幅圖像的兩個(gè)像素之間存在一條路徑連通關(guān)系具有自反性、對(duì)稱性和傳遞性區(qū)域中沒有孔，稱為簡單連通，有孔的區(qū)域稱為復(fù)連通圖像的基本性質(zhì)邊緣(edge)邊緣是圖像上灰度的不連續(xù)點(diǎn)，或者灰度變化劇烈的地方，它是一個(gè)有大小和方向的矢量邊界(border)區(qū)域R的邊界是其自身的像素集合，其中的每個(gè)點(diǎn)具有一個(gè)或多個(gè)R外的鄰接點(diǎn)邊界和邊緣不同，邊界是與區(qū)域有關(guān)的全局概念，而邊緣表示圖像函數(shù)的局部性質(zhì)；邊界與邊緣也相互關(guān)聯(lián)，一種尋找邊界的方法是連接顯著的邊緣圖像的基本性質(zhì)直方圖：給出了圖像中亮度值z出現(xiàn)的概率，一幅有L階的圖像直方圖由具有L個(gè)元素的一維數(shù)組表示算法：計(jì)算亮度直方圖創(chuàng)建大小為L的一維數(shù)組H數(shù)組H的所有元素初始化為0對(duì)于圖像f的所有元素，做如下處理：圖像的基本性質(zhì)圖像中的噪聲實(shí)際圖像常受一些隨機(jī)誤差的影響而退化，這些退化稱為噪聲(noise)在圖像捕獲、傳輸或處理中都可能出現(xiàn)噪聲白噪聲(whitenoise)：具有常量的功率譜，強(qiáng)度不隨著頻率的增加而衰減。高斯噪聲(Gaussiannoise)是服從正態(tài)分布的隨機(jī)變量，一維情況下的概率密度函數(shù)為：圖像的基本性質(zhì)圖像中的噪聲噪聲有可能依賴于圖像內(nèi)容，也可能與之無關(guān)加性噪聲(additivenoise)：噪聲與出現(xiàn)的圖像信號(hào)無關(guān)乘性噪聲(multiplicativenoise)：噪聲的幅值與信號(hào)本身的幅值相關(guān)用信噪比SNR度量圖像的品質(zhì)，值越大越好計(jì)算噪聲貢獻(xiàn)的平方和：信號(hào)的所有平方和：信噪比：2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像處理數(shù)學(xué)基礎(chǔ)卷積傅里葉變換卷積(Convolution)二維函數(shù)f和h的卷積g記為f*h，由積分定義二維離散卷積傅立葉變換(FourierTransform)二維連續(xù)傅立葉變換及其逆變換二維離散傅立葉變換及其逆變換傅立葉變換傅立葉變換的結(jié)果F(u,v)通常為復(fù)數(shù)，令R(u,v)和I(u,v)分別表示F(u,v)的實(shí)部和虛部傅立葉頻譜：相位角：2、圖像表示和處理圖像表示圖像的基本性質(zhì)圖像處理數(shù)學(xué)基礎(chǔ)圖像處理圖像處理圖像處理的目的是改善圖像數(shù)據(jù)，抑制不需要的變形或者增強(qiáng)某些對(duì)于后續(xù)處理重要的圖像特征像素亮度變換灰度映射直方圖均衡直方圖規(guī)定化圖像增強(qiáng)空域、頻域圖像復(fù)原像素亮度變換

灰度級(jí)變換

底片變換通過分段函數(shù)增強(qiáng)了圖像在亮度p1到p2間的對(duì)比度圖像二值化直方圖均衡化(histogramequalization)直方圖均衡化的目標(biāo)是創(chuàng)建一幅在整個(gè)亮度范圍內(nèi)具有相同亮度分布的圖像直方圖均衡化增強(qiáng)了靠近直方圖極大值附近的亮度的對(duì)比度，減小了極小值附近的對(duì)比度直方圖均衡化輸入直方圖H(p)，輸入灰度級(jí)范圍為[p0,pk]，直方圖均衡化的目標(biāo)：找到一個(gè)單調(diào)的像素亮度變換q=T(p)，使輸出直方圖G(q)在整個(gè)輸出亮度范圍[q0,qk]內(nèi)是均勻的直方圖可看作離散的概率密度函數(shù)，變換T是單調(diào)的若圖像有M行N列，均衡化后的直方圖G(q)對(duì)應(yīng)著均衡的概率密度函數(shù)，其函數(shù)值為一個(gè)常數(shù)直方圖均衡化公式代入：當(dāng)考慮“理想的”連續(xù)概率密度時(shí)，可以得到精確的均衡化直方圖得到像素亮度變換T積分稱為累計(jì)直方圖，在數(shù)字圖像中用求和近似，結(jié)果直方圖并不是理想均衡的直方圖均衡化算法：直方圖均衡化對(duì)于L(256)個(gè)灰度級(jí)、大小為M×N的圖像，創(chuàng)建長為L的數(shù)組H，初始化為0，形成圖像直方圖H形成圖像直方圖H通過將直方圖進(jìn)行歸一化和累加來計(jì)算累計(jì)直方圖Hc設(shè)置重新掃描圖像，根據(jù)變換T獲得直方圖近似為均勻分布的輸出圖像空域?yàn)V波局部預(yù)處理使用輸入圖像中像素的一個(gè)小鄰域內(nèi)的像素信息，產(chǎn)生輸出圖像中新的對(duì)應(yīng)像素的亮度值。這種預(yù)處理技術(shù)在使用信號(hào)處理的術(shù)語時(shí)被稱為濾波(filtering)。線性濾波：輸出圖像像素g(m,n)的計(jì)算結(jié)果是輸入圖像像素f(m,n)一個(gè)局部鄰域Ω的亮度線性組合。鄰域Ω中的像素貢獻(xiàn)通過系數(shù)h進(jìn)行加權(quán)：

h：濾波器、卷積掩膜、核、窗口非線性濾波：基于鄰域進(jìn)行非線性操作，如中值濾波空域?yàn)V波圖像平滑圖像平滑主要用來抑制噪聲，等價(jià)于抑制頻域中的高頻成分邊緣也屬于頻域中的高頻，平滑同時(shí)會(huì)模糊承載圖像中重要信息的邊緣，需要集中考慮具有邊緣保持功能的平滑方法此類方法的基本思路：僅使用鄰域中與被處理像素有類似性質(zhì)的點(diǎn)進(jìn)行平均平均(averaging)限制數(shù)據(jù)有效性下的平均(averagingwithlimiteddatavalidity)反梯度平均(averagingaccordingtoinversegradient)旋轉(zhuǎn)掩膜平均(averagingusingarotatingmask)中值濾波(medianfiltering)平均假設(shè)每個(gè)像素上的噪聲是一個(gè)均值為0，標(biāo)準(zhǔn)差為σ的獨(dú)立隨機(jī)變量，則可通過多次采集相同的靜態(tài)景物來獲得一幅平均圖像：平均圖像中的噪聲仍是隨機(jī)變量，均值為0，標(biāo)準(zhǔn)差為若只能獲得一幅帶有噪聲的圖像，則通過圖像的局部鄰域?qū)崿F(xiàn)平均如果噪聲大小小于圖像中感興趣的最小尺寸，處理結(jié)果是可以接受的，但仍存在邊緣模糊的問題在單幅圖像中做平滑，需要假設(shè)圖像數(shù)據(jù)中的灰度級(jí)沒有變化，這種假設(shè)在圖像邊緣處顯然是不成立的平均平均是離散卷積的一個(gè)特例，對(duì)于3×3的鄰域，卷積掩膜h為：其他形式的卷積掩膜：加噪聲結(jié)果原始圖像10×10掩膜5×5掩膜限制數(shù)據(jù)有效性下的平均試圖僅使用滿足某種標(biāo)準(zhǔn)的像素做平均來避免模糊一個(gè)簡單的準(zhǔn)則：設(shè)定非法數(shù)據(jù)范圍[min,max]，只有具有非法灰度級(jí)別的像素值才被其鄰域的平均所取代；只有有效的數(shù)據(jù)才對(duì)鄰域的平均有貢獻(xiàn)反梯度平均在每個(gè)像素上，根據(jù)反梯度計(jì)算卷積掩膜其基本思想是：區(qū)域內(nèi)部的亮度變化一般小于相鄰區(qū)域間的亮度變化設(shè)像素(m,n)是卷積掩膜的中心像素，像素點(diǎn)(i,j)相對(duì)于(m,n)的反梯度為 當(dāng)時(shí)，卷積掩膜： 中心像素上:旋轉(zhuǎn)掩膜平均通過搜索當(dāng)前像素鄰域的一致性部分來避免邊緣模糊，像素的平均操作只在具有一致性的區(qū)域內(nèi)進(jìn)行定義一個(gè)掩膜，將其在當(dāng)前像素周圍進(jìn)行旋轉(zhuǎn)。在旋轉(zhuǎn)過程中計(jì)算每個(gè)掩膜位置下像素值的平均值，并觀察這些平均值的變化設(shè)區(qū)域R的像素?cái)?shù)目是n，且輸入圖像是f，用亮度散布σ2度量區(qū)域的一致性:中值濾波基本思想：用鄰域中亮度的中值代替圖像當(dāng)前的點(diǎn)最大值最小值中點(diǎn)(max+min)/2最頻值窗口濾波加噪聲結(jié)果原始圖像3×3窗口2×2窗口頻域?yàn)V波假定原圖像f(x,y)，經(jīng)傅立葉變換為F(u,v)，頻域?yàn)V波就是選擇合適的濾波器函數(shù)H(u,v)對(duì)F(u,v)的頻譜成分進(jìn)行調(diào)整，然后經(jīng)逆傅立葉變換得到增強(qiáng)的圖像g(x,y)。該過程可以通過下面流程描述：

G(u，v)=H(u,v)·F(u,v),H(u,v)稱為傳遞函數(shù)或?yàn)V波器函數(shù)。頻域?yàn)V波原理低通濾波高通濾波帶通濾波同態(tài)濾波低通濾波（Lowpassfilters)

圖像從空間域變換到頻率域后，其低頻分量對(duì)應(yīng)圖像中灰度值變化比較緩慢的區(qū)域，高頻分量則表征圖像中物體的邊緣和隨機(jī)噪聲等信息。低通濾波是指保留低頻分量，而通過濾波器函數(shù)H(u,v)減弱或抑制高頻分量的在頻域進(jìn)行的濾波。低通濾波與空域中的平滑濾波器一樣可以消除圖像中的隨機(jī)噪聲，減弱邊緣效應(yīng)，起到平滑圖像的作用。D0是一個(gè)非負(fù)整數(shù)，D是從點(diǎn)（u，v）到頻率平面原點(diǎn)的距離即：理想低通濾波器的含義是指小于D0的頻率，即以D0為半徑的圓內(nèi)的所有頻率分量可以完全無損地通過，而圓外的頻率，即大于D0的頻率分量則完全被除掉。理想低通濾波器二維理想低通濾波器的傳遞函數(shù)如下：低通濾波的能量和D0的關(guān)系能量在變換域中集中在低頻區(qū)域。以理想低通濾波作用于N×N的數(shù)字圖像為例，其總能量為一個(gè)以頻域中心為原點(diǎn)，r為半徑的圓就包含了百分之

的能量根據(jù)對(duì)保留能量的要求來確定濾波器的截止頻率。

頻域低通濾波所產(chǎn)生的模糊示例r=5r=45r=11盡管只有7％的(高頻)能量被濾除，但圖像中絕大多數(shù)細(xì)節(jié)信息都已丟失了當(dāng)僅4％的高頻能量被濾除后，圖像中仍有明顯的振鈴效應(yīng)。理想低通濾波器的平滑作用非常明顯，但由于變換有一個(gè)陡峭的波形，它的反變換h(x,y)有強(qiáng)烈的振鈴特性，使濾波后圖像產(chǎn)生模糊效果。因此這種理想低通濾波實(shí)用中不能采用。“振鈴”現(xiàn)象H(u,v)h(x,y)理想低通濾波器巴特沃斯（Butterworth）低通濾波器巴特沃斯低通濾波器的傳遞函數(shù)為：D0為截止頻率，n為函數(shù)的階。一般取使H(u，v)最大值下降到最大值的0.5時(shí)的D(u,v)為截止頻率D0。Butterworth低通過濾器的截面圖H(u,v)作為D(u,v)/D0的函數(shù)的截面圖Butterworth低濾波效果D0=5D0=11D0=22D0=45n=2原始圖像D0特點(diǎn)：結(jié)果圖像的清晰度較理想低通濾波器有所改善，振鈴效應(yīng)也有所減弱。應(yīng)用時(shí)可調(diào)整D1值，既能達(dá)到平滑圖像的目的，又可以使圖像保持足夠的清晰度。梯形低通濾波器一般取使H（u,v）最大值下降至原來的1/2時(shí)的D(u，v)為截止頻率D0n=3D0指數(shù)低通濾波器特點(diǎn)：指數(shù)低通濾波器從通過頻率到截止頻率之間沒有明顯的不連續(xù)性，而是存在一個(gè)平滑的過渡帶。指數(shù)低通濾波器實(shí)用效果比Butterworth低通濾波器稍差，但仍無明顯的振鈴現(xiàn)象。

高通濾波（Highpassfilters)圖像的邊緣、細(xì)節(jié)主要在高頻，圖像模糊是由于高頻成分較弱產(chǎn)生的。為了消除模糊，突出邊緣，可以采用高通濾波的方法，使低頻分量得到抑制，從而達(dá)到增強(qiáng)高頻分量，使圖像的邊沿或線條變得清晰，實(shí)現(xiàn)圖像的銳化。理想高通濾波器梯形高通濾波器(GHPF)D1D0n=3巴特沃思(Butterworth)高通濾波器(BHPF)n=3指數(shù)高通濾波器(EHPF)IHPF濾波效果，D0=15，30，80。D0越小，振鈴效應(yīng)越明顯。BHPF,比IHPF的結(jié)果平滑得多。EHPF濾波效果高通濾波器比較小結(jié)理想高通有明顯振鈴，圖像的邊緣模糊不清。Butterworth高通效果較好，振鈴不明顯，但計(jì)算復(fù)雜。指數(shù)高通效果比Butterworth差些，但振鈴也不明顯。梯形高通的效果是微有振鈴、但計(jì)算簡單，故較常用。帶阻濾波（Bandstopfilter）

帶通濾波（Bandpassfilter）在某些情況下，信號(hào)或圖像中的有用成分和希望除掉的成分主要分別出現(xiàn)在頻譜的不同頻段，這時(shí)允許或阻止特定頻段通過的傳遞函數(shù)就非常有用。帶阻濾波可在點(diǎn)(u0,v0)和(-u0,-v0)某個(gè)圓形鄰域D處設(shè)計(jì)帶阻濾波器，即抑制以(u0,v0)為中心，D0為半徑的鄰域中所有頻率都阻止通過的濾波器。它的濾波函數(shù)為：帶通濾波器與帶阻濾波器互補(bǔ)允許一定頻率范圍（阻止其它頻率范圍）Hp(u,v)可用帶阻濾波器HR(u,v)公式表示：

HP(u,v)=-[HR(u,v)-1]（a）被正弦噪聲污染的圖像（b）圖像（a）的頻譜（c）巴特沃思帶阻濾波器（d）濾波效果物體受到照度明暗不勻的時(shí)候，圖象上對(duì)應(yīng)照度暗的部分，細(xì)節(jié)難辨別。同態(tài)濾波(Homomorphicfiltering)根據(jù)成像模型，若照度為

i(x,y),反射系數(shù)為r(x,y),則：同態(tài)濾波可以消除不均勻照度的影響而又不損失圖象細(xì)節(jié)。依據(jù)：圖象的灰度由照射分量和反射分量合成。反射分量反映圖象內(nèi)容，隨圖象細(xì)節(jié)不同在空間上作快速變化。照射分量在空間上通常均具有緩慢變化的性質(zhì)。因此，照射分量的頻譜落在空間低頻區(qū)域，反射分量的頻譜落在空間高頻區(qū)域。但在頻率域中不能直接對(duì)照度場和反射系數(shù)場頻率分量分別進(jìn)行獨(dú)立的操作，即如果定義：這里I(u，v)、R(u，v)分別是lni(x,y)和lnr(x,y)的傅里葉變換。同態(tài)濾波就是利用上式的形式將圖像中的照明分量和反射分量分開,這樣濾波函數(shù)就可以分別作用在這兩個(gè)分量上。同態(tài)濾波(Homomorphicfiltering)（1）兩邊取對(duì)數(shù)：

（2）兩邊取付氏變換：（3）用頻域函數(shù)

H(u,v)處理

F(u,v)：（4）反變換到空域：（5）兩邊取指數(shù)：同態(tài)濾波處理步驟特點(diǎn)：能消除乘性噪聲，能同時(shí)壓縮圖象的整體動(dòng)態(tài)范圍 和增加圖象中相鄰區(qū)域間的對(duì)比度同態(tài)濾波流程圖H(u,v)一方面減弱了低頻另一方面加強(qiáng)了高頻。(a)降低曝光度的Lena圖

(b)濾波后的圖像頻域技術(shù)與空域技術(shù)空域增強(qiáng)技術(shù)可轉(zhuǎn)化到頻域?qū)崿F(xiàn)，頻域增強(qiáng)技術(shù)可轉(zhuǎn)化到空域?qū)崿F(xiàn)。頻域里低通濾波器的轉(zhuǎn)移（或傳遞）函數(shù)對(duì)應(yīng)空域里平滑濾波器的模板函數(shù)的傅里葉變換。頻域里高通濾波器的轉(zhuǎn)移函數(shù)對(duì)應(yīng)空域里銳化濾波器的模板函數(shù)的傅里葉變換。頻域越寬，空域越窄，平滑作用越弱頻域越窄，空域越寬，模糊作用越強(qiáng)空域技術(shù)中無論使用點(diǎn)操作還是模板操作，每次都只是基于部分像素的性質(zhì)。頻域技術(shù)每次都利用圖像中所有像素的數(shù)據(jù)，具有全局性，有可能更好地體現(xiàn)圖像的整體特性，如整體對(duì)比度和平均灰度值等。謝謝！計(jì)算機(jī)視覺戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測算法3圖像點(diǎn)特征應(yīng)用4總結(jié)圖像的點(diǎn)特征表示目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測算法3圖像點(diǎn)特征應(yīng)用4總結(jié)圖像分割在圖像處理和計(jì)算機(jī)視覺領(lǐng)域中，角點(diǎn)（也稱做關(guān)鍵點(diǎn)）是指圖像中兩條邊緣的交匯點(diǎn)，這些點(diǎn)通常表現(xiàn)出與周圍背景有顯著差異的特征。角點(diǎn)的主要特性是局部區(qū)域內(nèi)像素的梯度方向發(fā)生顯著變化，這種變化意味著無論圖像如何旋轉(zhuǎn)或視角如何變化，角點(diǎn)都是容易識(shí)別的。Hpatches數(shù)據(jù)集中圖像關(guān)鍵點(diǎn)示例定義目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測算法3圖像點(diǎn)特征應(yīng)用4總結(jié)1.Harris角點(diǎn)檢測人眼對(duì)角點(diǎn)的識(shí)別是通過一個(gè)局部的窗口滑動(dòng)而觀察到的，主要可以分成三種情況：在各個(gè)方向上滑動(dòng)窗口，窗口內(nèi)區(qū)域灰度值較大變化，則認(rèn)為窗口內(nèi)遇到角點(diǎn)。（圖a）在各個(gè)方向上滑動(dòng)窗口，窗口內(nèi)區(qū)域灰度值未發(fā)生變化，則認(rèn)為窗口內(nèi)無角點(diǎn)。（圖b）在某個(gè)方向上滑動(dòng)窗口，窗口內(nèi)區(qū)域灰度值較大變化，但在另一些方向上灰度值未發(fā)生變化，則認(rèn)為窗口內(nèi)圖像可能是直線段。（圖c）Harris角點(diǎn)檢測算法步驟Harris角點(diǎn)檢測步驟主要包含以下三步：（1）統(tǒng)計(jì)局部窗口內(nèi)灰度變化

Harris角點(diǎn)檢測算法步驟（2）計(jì)算角點(diǎn)響應(yīng)函數(shù)

（3）角點(diǎn)判定

2.SIFT特征點(diǎn)檢測

在圖像處理和計(jì)算機(jī)視覺領(lǐng)域，特征點(diǎn)檢測和描述是識(shí)別、匹配和跟蹤對(duì)象的關(guān)鍵步驟。尺度不變特征變換（Scale-InvariantFeatureTransform，簡稱SIFT）是由DavidLowe在1999年提出的一種算法，旨在從圖像中提取具有尺度不變性的特征點(diǎn)，并對(duì)光照變化、噪聲以及視角改變具有強(qiáng)大的魯棒性。SIFT特征廣泛應(yīng)用于圖像匹配、機(jī)器人導(dǎo)航、三維模型構(gòu)建、手勢識(shí)別等領(lǐng)域。（1）SIFT特征點(diǎn)檢測核心概念SIFT特征點(diǎn)檢測通過在特征點(diǎn)在各個(gè)圖像尺度和位置上都有獨(dú)特得穩(wěn)定性特點(diǎn)，在多尺度空間中檢測極值點(diǎn)來尋找特征點(diǎn)。算法核心是建立一個(gè)多尺度空間，確保特征點(diǎn)對(duì)圖像尺度的變化保持不變性。通過高斯差分（DifferenceofGaussian,DoG）函數(shù)來近似拉普拉斯尺度空間，從而識(shí)別出在多個(gè)尺度空間中穩(wěn)定的關(guān)鍵點(diǎn)。（2）SIFT特征點(diǎn)檢測主要流程SIFT（尺度不變特征變換）算法是一個(gè)復(fù)雜的圖像處理過程，其可以分成一下四個(gè)主要步驟：尺度空間構(gòu)建及極值點(diǎn)檢測、關(guān)鍵點(diǎn)定位、方向賦值、以及描述子生成。2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程1）尺度空間構(gòu)建及極值點(diǎn)檢測尺度空間理論是SIFT算法的核心，其目的是模擬圖像數(shù)據(jù)在不同尺度的表現(xiàn)。尺度空間通過連續(xù)的高斯模糊來構(gòu)建，每個(gè)新尺度都是上一尺度圖像的高斯平滑版本。利用高斯差函數(shù)來識(shí)別對(duì)尺度和方向不變的潛在興趣點(diǎn)。尺度空間定義為一個(gè)函數(shù)L(x,y,σ)，如式3-5所示：

2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程1）尺度空間構(gòu)建及極值點(diǎn)檢測式3-6中，??是尺度參數(shù)，決定了模糊的程度。對(duì)于每個(gè)圖像金字塔層（octave），圖像首先被上一圖像金字塔層最后一個(gè)圖像的二倍降采樣得到，然后應(yīng)用一系列的高斯核進(jìn)行卷積，形成一組尺度圖像，如圖所示。在尺度空間中，極值點(diǎn)是潛在的特征點(diǎn)。通過比較一個(gè)像素點(diǎn)在當(dāng)前尺度圖像中與其相鄰的8個(gè)像素點(diǎn)，以及在尺度上下的18個(gè)像素點(diǎn)（總共26個(gè)鄰域點(diǎn)）的灰度值，來確定該點(diǎn)是否為極值。如果一個(gè)像素在其鄰域中是最大或最小值，則被認(rèn)為是潛在的特征點(diǎn)。2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程1）尺度空間構(gòu)建及極值點(diǎn)檢測這些潛在特征點(diǎn)被認(rèn)為是對(duì)尺度和旋轉(zhuǎn)不變的，因?yàn)樗鼈儊碜杂诙喑叨鹊臉O值檢測。這一步驟可以通過DifferenceofGaussian（DoG）圖像來實(shí)現(xiàn)，如圖所示，DoG圖像是相鄰尺度間的高斯圖的差異，如公式3-7所示：

k是相鄰尺度間的固定常數(shù)比例。2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程2）關(guān)鍵點(diǎn)定位關(guān)鍵點(diǎn)定位目的是從尺度空間極值點(diǎn)中精確地確定特征點(diǎn)的位置和尺度，并同時(shí)去除那些對(duì)匹配質(zhì)量貢獻(xiàn)較低的點(diǎn)。SIFT算法通過擬合三維二次函數(shù)來對(duì)每一個(gè)候選的特征點(diǎn)進(jìn)行精細(xì)定位。通過將近似DoG函數(shù)D(x,y,σ)在極值點(diǎn)附近進(jìn)行泰勒展開，如公式3-8所示：

式3-8中，D表示在極值點(diǎn)位置的DoG函數(shù)值，(?D^T)/?x表示DoG函數(shù)的梯度，(?^2D)/(?x^2)表示DoG函數(shù)的Hessian矩陣，x=(x,y,σ)表示相對(duì)于初步檢測的極值點(diǎn)的偏移量。通過對(duì)公式3-8進(jìn)行求解得到偏移量x的值，若偏移量過大，則認(rèn)為極值點(diǎn)定位不夠精確，該點(diǎn)將會(huì)被丟棄。對(duì)于每一個(gè)精細(xì)定位后的關(guān)鍵點(diǎn)，通過計(jì)算其DoG函數(shù)值來判斷該點(diǎn)是否具有足夠的對(duì)比度。若該值小于某個(gè)閾值，則認(rèn)為該點(diǎn)的對(duì)比度太低，不適合作為特征點(diǎn)，將會(huì)被丟棄。通過計(jì)算Hessian矩陣的兩個(gè)特征值的比率，可以判斷一個(gè)點(diǎn)是否位于邊緣上。若比率大于某個(gè)閾值，則該點(diǎn)會(huì)被認(rèn)為是邊緣點(diǎn)，因此被丟棄。2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程3）方向賦值方向賦值是為了增強(qiáng)關(guān)鍵點(diǎn)的旋轉(zhuǎn)不變性，即使在圖像旋轉(zhuǎn)時(shí)，關(guān)鍵點(diǎn)的描述仍能保持一致。首先需要計(jì)算關(guān)鍵點(diǎn)周圍的圖像梯度，可以通過公式3-9和3-10進(jìn)行計(jì)算：

L(x,y)表示關(guān)鍵點(diǎn)所在尺度的圖像強(qiáng)度，m(x,y)表示梯度大小，θ(x,y)表示梯度方向。2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程3）方向賦值對(duì)于每一個(gè)關(guān)鍵點(diǎn)，利用周圍區(qū)域的梯度信息構(gòu)建方向直方圖，如圖3-4所示，通常分成36個(gè)柱，每個(gè)柱覆蓋10°，梯度的大小作為該方向的權(quán)重，因此直方圖的每個(gè)柱的值是該方向上梯度大小的加權(quán)和。直方圖構(gòu)建完畢后，通過搜索直方圖的峰值來確定關(guān)鍵點(diǎn)的主方向。在某些情況下，若其他方向的值大于主方向的某個(gè)閾值（如80%），可以將其作為關(guān)鍵點(diǎn)的輔方向，因此同一個(gè)位置可能有兩個(gè)一樣的關(guān)鍵點(diǎn)，只是方向不同。最后，每個(gè)關(guān)鍵點(diǎn)根據(jù)其方向直方圖中的峰值被賦予一個(gè)或多個(gè)方向。這樣，每個(gè)關(guān)鍵點(diǎn)不僅被其位置和尺度描述，還被其方向描述，從而使得特征描述符對(duì)旋轉(zhuǎn)具有不變性。2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程4）描述子生成描述子生成將每個(gè)關(guān)鍵點(diǎn)轉(zhuǎn)換成一個(gè)具有強(qiáng)烈區(qū)分能力的特征向量，使得這些特征可以在不同的圖像之間進(jìn)行有效匹配。首先，圍繞每個(gè)關(guān)鍵點(diǎn)定義一個(gè)16x16像素的鄰域窗口。該窗口是從關(guān)鍵點(diǎn)的尺度空間中進(jìn)行選擇，窗口的大小會(huì)根據(jù)關(guān)鍵點(diǎn)所在的尺度進(jìn)行調(diào)整。為了保持描述子的空間信息，這個(gè)16x16的窗口進(jìn)一步被劃分為16個(gè)4x4的子區(qū)域。每個(gè)子區(qū)域?qū)⒂脕愍?dú)立地收集和描述局部特征。對(duì)于每個(gè)4x4的子區(qū)域，計(jì)算其中每個(gè)像素的梯度大小和方向。方向通常根據(jù)關(guān)鍵點(diǎn)的主方向進(jìn)行調(diào)整，以保證描述子的旋轉(zhuǎn)不變性。調(diào)整后的方向可以通過公式3-11計(jì)算：

2.SIFT特征點(diǎn)檢測（2）SIFT特征點(diǎn)檢測主要流程4）描述子生成對(duì)每個(gè)4×4的子區(qū)域，根據(jù)調(diào)整后的梯度方向創(chuàng)建一個(gè)8柱的方向直方圖。每個(gè)柱覆蓋45度。梯度的大小用作加權(quán)因子，表示更明顯的梯度變化。此外，使用高斯窗口對(duì)梯度大小進(jìn)行加權(quán)，對(duì)子區(qū)域中心附近的像素產(chǎn)生更大的影響。最終，所有的16個(gè)子區(qū)域的方向直方圖聯(lián)合形成一個(gè)128維（16×8個(gè)方向）的特征向量。若需要提高特征向量對(duì)光照變化的魯棒性，需要對(duì)這個(gè)128維向量進(jìn)行歸一化處理。即減少了圖像光照變化對(duì)特征描述子的影響。SIFT特征點(diǎn)檢測算法由于其尺度不變性、旋轉(zhuǎn)不變性、局部性、魯棒性等特點(diǎn)，在圖像處理和計(jì)算機(jī)視覺領(lǐng)域中占有重要的地位，是學(xué)術(shù)和工業(yè)應(yīng)用中常用的關(guān)鍵技術(shù)之一。3.HardNet點(diǎn)特征學(xué)習(xí)HardNet整體由兩部分構(gòu)成：特征學(xué)習(xí)網(wǎng)絡(luò)L2Net基于一個(gè)訓(xùn)練批次中困難樣本學(xué)習(xí)的SoftReg采樣策略L2Net結(jié)構(gòu)3.HardNet點(diǎn)特征學(xué)習(xí)

困難樣本采樣示意3.HardNet點(diǎn)特征學(xué)習(xí)

困難樣本采樣示意

（3-12）3.Key.Net關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)Key.Net體系結(jié)構(gòu)結(jié)合了手工和學(xué)習(xí)方法的成功思想，網(wǎng)絡(luò)中使用比例空間表示法提取不同級(jí)別的關(guān)鍵點(diǎn)，以檢測在各種比例尺上都存在的穩(wěn)健特征，并最大程度地提高可重復(fù)性得分Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器3.Key.Net關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器

（3-13）3.Key.Net關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器

3.Key.Net關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)Key.Net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合手工設(shè)計(jì)的濾波器核可學(xué)習(xí)濾波器（2）多尺度金字塔我們將體系結(jié)構(gòu)設(shè)計(jì)為對(duì)小尺度變化具有魯棒性，而無需計(jì)算多個(gè)前向特征。如圖3-7所示，該網(wǎng)絡(luò)包括輸入圖像的三個(gè)比例級(jí)別，這些級(jí)別的圖像模糊和降采樣了1.2倍。將由手工過濾器生成的所有特征圖連接起來，以饋每個(gè)比例級(jí)別中的學(xué)習(xí)過濾器堆棧。所有這三個(gè)流均具有權(quán)重，因此相同類型的錨點(diǎn)來自不同的級(jí)別，并形成最終關(guān)鍵點(diǎn)的候選集。然后將所有比例級(jí)別的特征圖上采樣，連接并饋入最后的卷積濾波器，以獲取最終的特征響應(yīng)圖。目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測算法3圖像點(diǎn)特征應(yīng)用4總結(jié)圖像配準(zhǔn)圖像配準(zhǔn)是圖像處理研究領(lǐng)域中的一個(gè)典型問題和技術(shù)難點(diǎn)。具體地說，對(duì)于一組圖像數(shù)據(jù)集中的兩幅圖像，通過尋找一種空間變換把一幅圖像映射到另一幅圖像，使得兩圖中對(duì)應(yīng)于空間同一位置的點(diǎn)一一對(duì)應(yīng)起來，從而達(dá)到信息融合的目的。（a）參考圖像（b）待配準(zhǔn)圖像（c）圖像配準(zhǔn)結(jié)果圖像配準(zhǔn)特征提取從參考圖像和待配準(zhǔn)圖像中提取特征點(diǎn)，常用的特征點(diǎn)包括角點(diǎn)、邊緣點(diǎn)或尺度不變特征點(diǎn)（SIFT、SURF等）參考圖像待配準(zhǔn)圖像特征點(diǎn)檢測特征提取特征匹配變換估計(jì)圖像變換圖像融合基本原理圖像配準(zhǔn)輸入圖像……關(guān)鍵點(diǎn)檢測裁取圖像塊特征提取……參數(shù)估計(jì)與圖像變換特征匹配關(guān)鍵點(diǎn)檢測：從圖像中檢測出具有顯著特征的關(guān)鍵點(diǎn)，用于描述圖像的局部結(jié)構(gòu)和特征。特征提?。簩?duì)于每個(gè)關(guān)鍵點(diǎn)，提取出描述其局部特征的向量或描述子，以便后續(xù)的特征匹配過程使用。特征匹配：通過對(duì)比圖像中的關(guān)鍵點(diǎn)特征描述子，將兩幅圖像中相對(duì)應(yīng)的關(guān)鍵點(diǎn)進(jìn)行匹配，以建立它們之間的對(duì)應(yīng)關(guān)系。參數(shù)估計(jì)與圖像變換：根據(jù)匹配的關(guān)鍵點(diǎn)對(duì)，估計(jì)出圖像之間的變換參數(shù)，并將其中一個(gè)圖像進(jìn)行適當(dāng)?shù)膸缀巫儞Q，以實(shí)現(xiàn)兩幅圖像的對(duì)齊?；陉P(guān)鍵點(diǎn)特征的圖像配準(zhǔn)圖像配準(zhǔn)基于關(guān)鍵點(diǎn)特征的圖像配準(zhǔn)可見光圖像連線圖SAR圖像棋盤圖配準(zhǔn)圖圖像配準(zhǔn)基于關(guān)鍵點(diǎn)特征的圖像配準(zhǔn)

這些隨機(jī)選出的匹配點(diǎn)對(duì)是正確的，具有較高的定位精度，棋盤格圖像中的交匯點(diǎn)是光滑的，基本上沒有任何錯(cuò)位現(xiàn)象。目錄1圖像點(diǎn)特征表示2圖像特征點(diǎn)檢測算法3圖像點(diǎn)特征應(yīng)用4總結(jié)目錄總結(jié)本章介紹了圖像點(diǎn)的特征表示。圖像特征點(diǎn)是計(jì)算機(jī)視覺領(lǐng)域的核心概念之一,涉及圖像中穩(wěn)定且具有代表性的特征點(diǎn)的提取和描述。在此基礎(chǔ)上，介紹了主流的特征點(diǎn)檢測算法包括Harris角點(diǎn)檢測、SIFT、SURF等,適用于不同的應(yīng)用場景?；谏疃葘W(xué)習(xí)的HardNet特征學(xué)習(xí)算法以及結(jié)合手工特征和深度特征的Key.Net算法為讀者提供了最新的研究視野。這些特征點(diǎn)匹配算法為圖像中重要區(qū)域的快速定位奠定了基礎(chǔ)。圖像點(diǎn)特征在計(jì)算機(jī)視覺中有著廣泛的應(yīng)用，總的來說,圖像點(diǎn)特征是計(jì)算機(jī)視覺領(lǐng)域不可或缺的基礎(chǔ)知識(shí),掌握好這一概念和相關(guān)技術(shù)對(duì)于后續(xù)的視覺任務(wù)至關(guān)重要

謝謝！計(jì)算機(jī)視覺戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材4、線特征表示邊緣檢測：邊緣檢測算子SNAKEASM/AAMHough變換邊緣檢測圖像邊緣的產(chǎn)生 物體的邊界、表面方向的改變、不同顏色或材質(zhì)、光照明暗的變化物體的邊界表面方向變化不同顏色區(qū)域光照明暗邊緣的定義定義：“邊緣是圖像中亮度突然變化的區(qū)域?！薄皥D像灰度構(gòu)成的曲面上的陡峭區(qū)域?！薄跋袼鼗叶却嬖陔A躍變化或屋脊?fàn)钭兓南袼氐募??！被叶葓D像中邊緣的類型階梯狀邊緣屋脊?fàn)钸吘壘€條狀邊緣為什么要提取邊緣？邊緣是最基本的圖像特征之一：可以表達(dá)物體的特征邊緣特征對(duì)于圖像的變化不敏感幾何變化，灰度變化，光照方向變化可以為物體檢測提供有用的信息是一種典型的圖像預(yù)處理過程原始圖像輸出結(jié)果模式識(shí)別預(yù)處理特征提取如何提取邊緣？（灰度圖象）灰度圖象邊緣提取，主要的思想：抑制噪聲（低通濾波、平滑、去噪、模糊）邊緣特征增強(qiáng)（高通濾波、銳化）邊緣定位原始圖像中間結(jié)果圖像邊緣抑制噪聲增強(qiáng)邊緣邊緣定位圖像微分算子一階微分算子（梯度算子）Prewitt,Sobel

檢測最大值二階微分算子（Laplacian）檢測過零點(diǎn)微分算子檢測邊緣：一維信號(hào)一階導(dǎo)數(shù)的極大值點(diǎn)：二階導(dǎo)數(shù)的過零點(diǎn)：注意：僅僅等于0不夠，常數(shù)函數(shù)也為0，必須存在符號(hào)改變微分算子檢測邊緣：二維信號(hào)一階導(dǎo)數(shù)的極大值點(diǎn)：其中，圖像梯度向量：梯度幅值表示邊緣的強(qiáng)弱，梯度方向代表灰度變化最快的方向微分算子檢測邊緣：二維信號(hào)二階導(dǎo)數(shù)的過零點(diǎn)：拉普拉斯算子：各向同性的兩階微分算子,保持旋轉(zhuǎn)不變在數(shù)字圖像上計(jì)算梯度一維的情況：f(x)x-1x+1對(duì)于離散的數(shù)字信號(hào)，可以使用差分近似：相當(dāng)于與如下模板進(jìn)行卷積運(yùn)算：-101×0.5在數(shù)字圖像上計(jì)算梯度使用差分運(yùn)算在數(shù)值上近似一階微分運(yùn)算-101-101豎直邊緣水平邊緣×0.5×0.5病態(tài)問題：一維信號(hào)的例子從圖像中取出某行像素值：邊緣在哪里？病態(tài)問題：一維信號(hào)的例子Question：假設(shè)噪聲的幅度很小，是否也很?。坷涸肼暈楦哳l的正旋波信號(hào)的微分不能由帶有噪聲的觀測信號(hào)的微分得到解決方法：先進(jìn)行濾波峰值為邊緣的位置利用卷積運(yùn)算的性質(zhì)：峰值為邊緣的位置Sobel算子Prewitt算子Roberts算子圖像梯度算子的近似Prewitt算子-101-101-101計(jì)算均值，平滑噪聲檢測豎直邊緣-1-1-1000111計(jì)算均值，平滑噪聲檢測水平邊緣Prewitt算子，近似一階微分卷積模版：去噪+增強(qiáng)邊緣Sobel算子-101-202-101計(jì)算均值，平滑噪聲檢測豎直邊緣-1-2-1000121計(jì)算均值，平滑噪聲檢測水平邊緣Sobel算子，近似一階微分去噪+增強(qiáng)邊緣，給四鄰域更大的權(quán)重常見的梯度算子(a):Roberts算子 (b):3x3Prewitt算子(c):Sobel算子 (d):4x4Prewitt算子Sobel,Prewitt例子在數(shù)字圖像上計(jì)算二階微分拉普拉斯算子拉普拉斯算子的數(shù)字近似3*3卷積模版0-10-14-10-10-1-1-1-18-1-1-1-1拉普拉斯算子的特點(diǎn)拉普拉斯算子的運(yùn)算結(jié)果是標(biāo)量只有幅值，只使用一個(gè)模版便可計(jì)算得到方向?qū)傩詠G失實(shí)際中幾乎不單獨(dú)使用拉普拉斯算子：二次求導(dǎo)數(shù)，對(duì)噪聲非常敏感通常配合濾波器同時(shí)使用LaplacianofGaussian(LoG)首先用Gauss函數(shù)對(duì)圖像進(jìn)行平滑，抑制噪聲然后對(duì)經(jīng)過平滑的圖像使用Laplacian算子利用卷積的性質(zhì)LoG算子等效于：

Gaussian平滑+Laplacian二階微分高斯拉普拉斯LaplacianofGaussianoperator過零點(diǎn)為邊緣的位置二維邊緣微分濾波器LoG算子:高斯拉普拉斯高斯高斯的導(dǎo)數(shù)在數(shù)字圖像上實(shí)現(xiàn)LoG00-1000-1-2-10-1-216-2-10-1-2-1000-100

LoG因其形狀，也稱為Mexicanhat

求和為0，即對(duì)平坦圖像區(qū)域的響應(yīng)為0

一個(gè)近似的卷積模版：體現(xiàn)主要的形狀LoG：例子（a）LennaImage（b）Gaussian模版卷積（15*15）（c）Laplacian模版卷積（3*3）（a）（b）（c）分兩步實(shí)現(xiàn)LoG，可以提供更大的靈活性更小的模版尺寸LoG：例子（d）將(c)中大于0的像素置1，其余置0（e）在二值圖像（d）上檢測邊緣，使用形態(tài)學(xué)膨脹方法（f）結(jié)果顯示（d）（e）（f）幾個(gè)特點(diǎn)：（1）正確檢測到的邊緣：單像素寬度，定位準(zhǔn)確（2）形成許多封閉的輪廓（spaghetti，意大利面條）（3）需要更加復(fù)雜的算法檢測過零點(diǎn)Canny邊緣檢測器最常用的邊緣檢測方法之一一個(gè)優(yōu)化的方案噪聲抑制邊緣增強(qiáng)邊緣定位J.Canny,“AComputationalApproachtoEdgeDetection”,

IEEETrans.onPAMI,8(6),1986.Canny邊緣檢測算法算法基本過程：計(jì)算圖像梯度梯度非極大值抑制雙閾值提取邊緣點(diǎn)幅值大小M(x,y)方向Theta(x,y)NMS：Non-MaximaSuppression計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)高斯函數(shù)的一階導(dǎo)數(shù)(DerivativeofGaussian)可以很近似地滿足以下三條邊緣檢測最優(yōu)準(zhǔn)則：好的邊緣檢測結(jié)果：Gooddetection

對(duì)邊緣的響應(yīng)大于對(duì)噪聲的響應(yīng)好的定位性能：Goodlocalization

其最大值應(yīng)接近邊緣的實(shí)際位置對(duì)同一邊緣有低的響應(yīng)次數(shù)： 在邊緣附近只有一個(gè)極大值點(diǎn)計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)

（2）使用一階有限差分計(jì)算偏導(dǎo)數(shù)的兩個(gè)陣列：（1）求圖像與高斯平滑濾波器卷積:-11-1111-1-1相當(dāng)于與模版進(jìn)行卷積運(yùn)算：代表對(duì)圖像的平滑程度計(jì)算圖像梯度：高斯函數(shù)的一階導(dǎo)數(shù)（3）幅值和方位角:M代表梯度幅值的大小，在存在邊緣的圖像位置處，M的值變大，圖像的邊緣特征被“增強(qiáng)”如何檢測邊緣？局部極值周圍存在相近數(shù)值的點(diǎn)非極大值抑制NMS非極大值抑制（NMS：Non-MaximaSuppression）主要思想：由梯度幅值圖像M(x,y)，僅保留極大值。（嚴(yán)格地說，保留梯度方向上的極大值點(diǎn)。）得到的結(jié)果為N(x,y)，具體過程：初始化N(x,y)=M(x,y)對(duì)于每個(gè)點(diǎn)，在梯度方向和反梯度方向各找n個(gè)像素點(diǎn)。若M(x,y)不是這些點(diǎn)中的最大點(diǎn)，則將N(x,y)置零，否則保持N(x,y)不變。N(x,y)單像素寬度：問題：額外的邊緣點(diǎn)，丟失的邊緣點(diǎn)非極大值抑制NMS

在梯度方向的沿線上檢測該點(diǎn)是否為局部極大值簡化的情形，只使用4個(gè)方向：{0，45，90，135}

得到的結(jié)果N（x,y）包含邊緣的寬度為1個(gè)像素對(duì)NMS結(jié)果進(jìn)行二值化對(duì)上述得到的N(x,y)使用閾值進(jìn)行二值化使用大的閾值，得到：少量的邊緣點(diǎn)許多空隙使用小的閾值，得到：大量的邊緣點(diǎn)大量的錯(cuò)誤檢測使用雙閾值檢測邊緣兩個(gè)閾值T1，T2：T2>>T1由T1得到E1(x,y)，低閾值邊緣圖：更大的誤檢測率由T2得到E2(x,y)，高閾值邊緣圖：更加可靠邊緣連接：E1E1E1E1E2E2E2邊緣連接將E2(x,y)中相連的邊緣點(diǎn)輸出為一幅邊緣圖像E(x,y)對(duì)于E(x,y)中每條邊，從端點(diǎn)出發(fā)在E1(x,y)中尋找其延長的部分，直至與E(x,y)中另外一條邊的端點(diǎn)相連，否則認(rèn)為E1(x,y)中沒有它延長的部分將E(x,y)作為結(jié)果輸出Canny算子例子原始圖像原始圖像經(jīng)過Gauss平滑Canny算子例子梯度幅值圖像梯度幅值經(jīng)過非極大值抑制Canny算子例子低閾值邊緣圖像高閾值邊緣圖像Canny輸出邊緣圖像使用Canny算子需要注意的問題Canny算子的優(yōu)點(diǎn)：參數(shù)較少計(jì)算效率得到的邊緣連續(xù)完整參數(shù)的選擇：Gauss濾波的尺度雙閾值的選擇(LOW=HIGH*0.4)漸增高斯濾波模版的尺寸漸增雙閾值的大小，保持low=high*0.44、線特征表示邊緣檢測：邊緣檢測算子SNAKEASM/AAMHough變換活動(dòng)輪廓模型活動(dòng)輪廓模型(ActiveContourModels)--Snake1987,Kass,Witkin,Terzopoulos;定義：能量達(dá)到最小值的曲線—snake的能量是根據(jù)它的形狀和在圖像中的位置確定的一種特殊的變形模板匹配必須通過交互為snake具體指定一個(gè)估計(jì)的形狀和開始的位置183活動(dòng)輪廓模型184Snake算法的核心思想是通過最小化一個(gè)能量函數(shù)來逼近圖像中的邊緣。這個(gè)能量函數(shù)綜合考慮了輪廓的內(nèi)在屬性（如連續(xù)性和光滑性）和圖像的特征信息（如梯度），從而實(shí)現(xiàn)對(duì)目標(biāo)輪廓的精確描述。圖4-1Snake算法處理圖活動(dòng)輪廓模型活動(dòng)輪廓模型-----蛇形：（a）初始snake位置（點(diǎn)狀線），定義在真實(shí)輪廓附近；（b）snake能量函數(shù)最小化迭代；（c）snake被拉到真實(shí)輪廓處185活動(dòng)輪廓模型用于最小化的能量是外力和內(nèi)力的加權(quán)和內(nèi)力由snake的形狀計(jì)算得到，外力從圖像中獲得或是從更高級(jí)的圖像理解處理中得到Snake被定義為和是輪廓點(diǎn)的x和y的坐標(biāo)值，

曲線因?yàn)閺澢a(chǎn)生的內(nèi)部能量；從圖像中得到的力；外部的約束力186活動(dòng)輪廓模型曲線內(nèi)部能量的定義：

和規(guī)定了snake的彈性（elasticity）和剛性（stiffness）在點(diǎn)處令=0，這樣就允許snake在該點(diǎn)處出現(xiàn)二階不連續(xù)，這時(shí)就會(huì)在該點(diǎn)出現(xiàn)角點(diǎn)187活動(dòng)輪廓模型從圖像中得到的力基于輪廓線的函數(shù)項(xiàng)：

表示在點(diǎn)位置處的圖像灰度值；

的符號(hào)指定了snake是被吸引到淡色的輪廓線還是深色的輪廓線基于邊緣的函數(shù)項(xiàng)：該函數(shù)將snake吸引到圖像中具有較大梯度值的邊緣處，也就是強(qiáng)邊緣處188活動(dòng)輪廓模型來自外部的約束由用戶指定或來自其他更高層次的處理，可以讓snake朝著或是背離某些指定的特征。如果snake在目標(biāo)特征的附近，剩下的過程可以由能量最小化來完成。盡管如此，如果snake到達(dá)局部能量極小值，但更高層次的處理將其判定為錯(cuò)誤時(shí)，可在該處產(chǎn)生一個(gè)能量峰值區(qū)域，迫使snake離開并達(dá)到一個(gè)局部極小值189活動(dòng)輪廓模型190一條snake被吸引到邊緣和端點(diǎn)：（a）輪廓錯(cuò)覺（b）一條snake被吸引到主觀輪廓處邊緣檢測：邊緣檢測算子SNAKEASM/AAMHough變換4、線特征表示ASM/AAM模型

（ActiveShape/AppearanceModel）ASM是一種基于點(diǎn)分布模型（PDM）的算法。主要利用若干關(guān)鍵特征點(diǎn)（landmarks）形成一個(gè)形狀向量來描述一個(gè)目標(biāo)ASM模型的實(shí)現(xiàn)分為：ASMBuildingASMFittingASM特征點(diǎn)ASM/AAM模型

（ActiveShape/AppearanceModel）形狀向量歸一化獲得特征點(diǎn)PCA特征提取建立局部特征搜索匹配得到偏移量更新模型建立ASM模型更新ASM模型獲得特征點(diǎn)

形狀向量歸一化（對(duì)齊）

形狀向量歸一化（對(duì)齊）

ASM/AAM模型

（ActiveShape/AppearanceModel）形狀向量歸一化獲得特征點(diǎn)PCA特征提取建立局部特征搜索匹配得到偏移量更新模型建立ASM模型更新ASM模型PCA特征提取

正交

PCA特征提取

建立局部特征（localstragety)對(duì)于每個(gè)特征點(diǎn)xi,都可以建立局部特征：

ASM/AAM模型

（ActiveShape/AppearanceModel）形狀向量歸一化獲得特征點(diǎn)PCA特征提取建立局部特征搜索匹配得到偏移量更新模型建立ASM模型更新ASM模型模型匹配（Fitting）模型匹配（Fitting）模型匹配（Fitting）AAM（ActiveAppearanceModel）AAM（ActiveAppearanceModel）4、線特征表示邊緣檢測：邊緣檢測算子SNAKEASM/AAMHough變換Hough變換Hough變換(HT)問題的提出Canny或Sobel等邊緣檢測算法通過識(shí)別圖像中的亮度變化來標(biāo)記邊緣點(diǎn)在找出邊緣點(diǎn)集之后，需要連接，形成完整的邊緣圖形描述。y=kx+q(x0,y0)xykq(k,q)設(shè)直線在原始圖像空間（x,y)的直線方程為：y=kx+q（斜截式）它與參數(shù)空間上的一個(gè)點(diǎn)(k,q)相對(duì)應(yīng)。過(x0,y0)的一組直線，在參數(shù)空間中可用一條直線表示：q=-x0k+y0

所以，在圖像中一條直線上，在參數(shù)空間中為一個(gè)點(diǎn)，在參數(shù)空間中找到這個(gè)點(diǎn)，就可以找到在x,y空間中對(duì)應(yīng)的這條線的兩個(gè)參數(shù)。Hough變換的基本思想Hough變換如果圖像中有兩條直線，對(duì)于分布在這兩條直線上的點(diǎn)，就可以在參數(shù)空間中找到兩個(gè)聚類點(diǎn)。kqxyABCD

EF

把用斜率和截距的表示變成用法線和法線與X軸的夾角表示。即：yx(x,y)(x0,y0)

‘其中是從原點(diǎn)引到直線的垂線長度；是垂線和x軸的夾角。=xcos+ysin如果設(shè)這條直線通過圖像上的點(diǎn)(x0,y0)，則：

=

x0cos+y0sinHough變換算法實(shí)現(xiàn)斜截式中的斜率k可以從負(fù)無窮到正無窮變化。對(duì)于垂直線，斜率k會(huì)趨向于無限大，這在計(jì)算機(jī)表示和計(jì)算中是不方便的。Hough變換算法實(shí)現(xiàn)-空間上的一點(diǎn)對(duì)應(yīng)于x-y空間上的一條直線。相反，用上式表示的-空間的軌跡，就表示了在x-y空間通過(x0,y0)點(diǎn)的所有直線群。對(duì)圖像中所有的邊緣點(diǎn)施以同樣的操作，便求出在

-空間各條軌跡集中的位置(

0,

0)，它在x-y空間上對(duì)應(yīng)于直線0=

xcos0+ysin0，這樣直線將被檢測出來?？梢匀?2或-。Hough變換算法實(shí)現(xiàn)

1200-120/2

ABCDEFG(b)-空間的軌跡(霍夫變換)

Hough變換算法實(shí)現(xiàn)

為了用程序?qū)崿F(xiàn)，要準(zhǔn)備一個(gè)表示

-空間的二維數(shù)組，每通過一個(gè)軌跡，就在數(shù)組元素中加上1，在對(duì)應(yīng)于邊緣點(diǎn)所有的軌跡都畫出之后，就可以提取具有較大值的數(shù)組元素，這就是邊緣。Hough變換曲線檢測現(xiàn)實(shí)世界中，某些物體的邊界或輪廓是曲線，如圓、橢圓等。

Hough變換曲線檢測類似地，對(duì)于其他類型的曲線，比如橢圓或拋物線，參數(shù)空間將相應(yīng)增加維度以包含所有必要的幾何參數(shù)。例如，檢測橢圓可能涉及參數(shù)如橢圓中心、長軸、短軸和旋轉(zhuǎn)角度。Hough變換，即使圖像中的邊緣是不連續(xù)的，也能有效地檢測出直線，抗噪聲性能更好。謝謝！計(jì)算機(jī)視覺戰(zhàn)略性新興領(lǐng)域“十四五”高等教育系列教材目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法5、區(qū)域分割目錄6全卷積FCN分割網(wǎng)絡(luò)7U-net分割網(wǎng)絡(luò)8DeepLab系列分割網(wǎng)絡(luò)9預(yù)訓(xùn)練大模型分割網(wǎng)絡(luò)-SAM目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法目的?將一張圖像細(xì)分為符合事先定義的一組準(zhǔn)則的多個(gè)獨(dú)立區(qū)域。圖像分割基于像素的特征（如顏色、亮度、紋理等）相似度的度量，將具有相似特征的像素分配到同一區(qū)域。相似性準(zhǔn)則確保區(qū)域內(nèi)部的像素在空間上是相互連接的，通常通過保持像素之間的空間鄰近性實(shí)現(xiàn)。連續(xù)性準(zhǔn)則確保區(qū)域形狀是緊湊的，而不是碎片化的，這有助于提高分割結(jié)果的視覺質(zhì)量和實(shí)用性。緊湊性準(zhǔn)則確保每個(gè)像素只能屬于一個(gè)區(qū)域，避免像素的重疊或混淆。唯一性準(zhǔn)則圖像分割

目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法閾值分割

全局閾值分割閾值分割下圖展示了一個(gè)全局閾值分割的案例，圖中物體彼此不接觸，且它們的灰度值與背景的灰度值存在顯著差異。圖b是其閾值分割結(jié)果。在本案例中，小于閾值的部分被視為目標(biāo)，即圖中的黑色部分，而白色部分表示背景。圖c和d是不同閾值下的分割結(jié)果，閾值設(shè)定分別為30和230?？梢钥闯觯撝档倪x擇對(duì)于分割結(jié)果至關(guān)重要，過低或過高的閾值都可能導(dǎo)致分割結(jié)果不理想。

(a)(b)(c)(d)閾值分割

局部閾值分割閾值分割閾值可以是事先設(shè)定的，也可以通過自動(dòng)化方法從圖像的像素值分布中計(jì)算得出，然而人工設(shè)定閾值極大依賴研究人員的從業(yè)經(jīng)驗(yàn)，并且沒有一個(gè)統(tǒng)一的閾值適用于所有圖像，極大地影響了圖像分割的效果。下圖展示了根據(jù)灰度值自動(dòng)設(shè)置全局閾值和多閾值的案例，通過計(jì)算圖像的灰度分布，可以非常直觀地找出適用于分割不同區(qū)域的閾值。

自動(dòng)閾值分割(全局閾值)(局部閾值)

優(yōu)點(diǎn)：計(jì)算簡單，執(zhí)行速度快。直觀易懂，不需要復(fù)雜的數(shù)學(xué)模型。在目標(biāo)與背景有明顯灰度差異時(shí)效果良好。缺點(diǎn)：對(duì)光照和噪聲敏感，容易產(chǎn)生錯(cuò)誤分割。需要預(yù)先確定閾值，不同的圖像可能需要不同的閾值。無法處理復(fù)雜背景或目標(biāo)與背景灰度接近的情況。閾值分割總結(jié)目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法根據(jù)預(yù)定義的相似性準(zhǔn)則，逐步將相鄰像素合并為具有相似特征的區(qū)域。過程：①從一個(gè)“種子像素”開始，將圖像中的相鄰像素的屬性（灰度或顏色）與種子像素進(jìn)行比較，如果屬性相似，就可以將相鄰像素附加到生長區(qū)域中；②重復(fù)上述的生長過程，直到?jīng)]有滿足條件的像素加入?yún)^(qū)域?yàn)橹埂^(qū)域生長法

區(qū)域A

區(qū)域B

種子像素

種子像素思想?yún)^(qū)域生長法算法流程區(qū)域生長法按照4鄰域和8鄰域進(jìn)行生長，結(jié)果有所不同。按照8鄰域進(jìn)行生長能夠得到較精確的結(jié)果。原始圖像：4-鄰域：8-鄰域：灰度差異準(zhǔn)則計(jì)算效率很高，通常能夠有效地將相似灰度的像素聚合成區(qū)域，而不易受到噪聲的干擾(圖b)；基于紋理特征的生長準(zhǔn)則能夠更好地識(shí)別圖像中的復(fù)雜結(jié)構(gòu)和紋理區(qū)域，但對(duì)沒有明顯紋理特征的圖像表現(xiàn)不敏感(圖c)；基于歐幾里得距離的相似度準(zhǔn)則處理圖像簡單且計(jì)算效率高，但有可能忽略像素間的細(xì)微差異，導(dǎo)致區(qū)域劃分不夠精細(xì)(圖d)。區(qū)域生長法示例(a)(b)(c)(d)優(yōu)點(diǎn)：簡單直觀，易于理解和實(shí)現(xiàn)。適用于具有局部明顯特征的圖像。不需要預(yù)先設(shè)定分割的數(shù)目，比較靈活。缺點(diǎn)：對(duì)參數(shù)敏感，種子點(diǎn)選擇和生長準(zhǔn)則設(shè)置影響分割效果。對(duì)光照和噪聲敏感，可能導(dǎo)致分割結(jié)果不理想?？赡軐?dǎo)致過度分割或欠分割。區(qū)域生長法

總結(jié)目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法通過分裂和合并兩個(gè)相鄰的區(qū)域，逐步實(shí)現(xiàn)圖像分割步驟:1）先確定一個(gè)分裂合并的準(zhǔn)則，即區(qū)域特征一致性的測度；2）當(dāng)圖像中某個(gè)區(qū)域的特征不一致時(shí)就將該區(qū)域分裂成4個(gè)相等的子區(qū)域；3）當(dāng)相鄰的子區(qū)域滿足一致性特征時(shí)，則將它們合成一個(gè)大區(qū)域；4）重復(fù)進(jìn)行步驟（2）和（3）直至所有區(qū)域不能再進(jìn)行分裂或者合并。分裂合并法思想分割過程類比為構(gòu)建四叉樹，其中每個(gè)葉子節(jié)點(diǎn)代表一個(gè)一致的區(qū)域。分裂和合并相當(dāng)于四叉樹中的刪除或添加操作。在分割過程完成后，樹的葉子節(jié)點(diǎn)數(shù)量即對(duì)應(yīng)于分割后的區(qū)域數(shù)。分裂合并法思想(a)構(gòu)建四叉樹(b)四叉樹對(duì)應(yīng)的圖像區(qū)域分裂合并法示例分裂合并法適用于各種類型的圖像，相比于閾值分割方法(圖b)，它能夠在不需要過多用戶干預(yù)的情況下完成分割過程，具有較高的自動(dòng)化程度，相比與區(qū)域生長法(圖c)，分裂合并法(圖d)在一定程度上能夠處理復(fù)雜的圖像結(jié)構(gòu)和紋理。(a)(b)(c)(d)優(yōu)點(diǎn)：適用性廣泛，能處理各種類型的圖像。自動(dòng)化程度高，能在少量用戶干預(yù)下完成分割。能夠處理較大的圖像和復(fù)雜的結(jié)構(gòu)。缺點(diǎn)：計(jì)算復(fù)雜度高，對(duì)大型或高分辨率圖像要求較高。對(duì)參數(shù)敏感，需要精細(xì)的參數(shù)調(diào)整。在處理復(fù)雜圖像時(shí)，可能產(chǎn)生過度或欠分割的問題。分裂合并法

總結(jié)目錄1區(qū)域分割定義2閾值分割3區(qū)域生長法4分裂合并法5分水嶺算法分水嶺算法

思想分水嶺的概念源于地形學(xué)，在地表地勢高處形成的高地分隔了水流的路徑，從而使水流從一個(gè)區(qū)域流向另一個(gè)區(qū)域。在圖像處理中，我們將圖像數(shù)據(jù)視作地形表面，其中梯度圖像的灰度值表示了高程。分水嶺算法通過模擬水在每個(gè)集水盆地的填充過程，找出分水線，完成對(duì)圖像的分割。下圖展示了一個(gè)簡單的示例：(a)原始圖像(b)水位階段1(c)水位階段2分水嶺算法

思想隨著水位逐漸上升，梯度較高的分水嶺的輪廓越來越狹窄，最終會(huì)形成一條邊界清晰的分水線。然而，在水位上升的過程中，兩個(gè)盆地之間的水會(huì)相聚并淹沒分水嶺，此時(shí)需要構(gòu)建后一座水壩，阻止來自該盆地的水與來自對(duì)應(yīng)背景的區(qū)域的水會(huì)聚。持續(xù)這一過程，直到達(dá)到最高水位。最終的水壩對(duì)應(yīng)的分水線就是最終的分割邊界。(d)水位階段3

(e)水位階段4(c)分割結(jié)果分水嶺算法