計算機視覺技術(shù)實戰(zhàn) 課件 項目5 目標(biāo)跟蹤：基于YOLOv8-track的寵物貓目標(biāo)跟蹤

項目5目標(biāo)跟蹤：基于YOLOv8-track的寵物貓目標(biāo)跟蹤教學(xué)目標(biāo)能力目標(biāo)（1）掌握YOLOv8-track的模型加載、跟蹤執(zhí)行。（2）掌握BoT-SORT和ByteTrack跟蹤器的參數(shù)配置。（3）掌握YOLOv8-track跟蹤結(jié)果的運動軌跡可視化。知識目標(biāo)(1)了解目標(biāo)跟蹤的定義與方法。(2)理解目標(biāo)跟蹤的評估指標(biāo)。(3)了解目標(biāo)跟蹤在各行業(yè)的應(yīng)用。(4)掌握目標(biāo)跟蹤任務(wù)的流程與操作。工程目錄圖5-1是項目的主要文件和目錄結(jié)構(gòu)。其中，track_logs為跟蹤結(jié)果保存目錄，model為存放模型文件的目錄，maskDetection_log為存放訓(xùn)練和評估日志文件的目錄。yolov8-track.ipynb本項目的模型訓(xùn)練與推理代碼文件，其余文件為數(shù)據(jù)處理文件。圖5-1項目的主要文件和目錄結(jié)構(gòu)

+--Project5_track/|+--track_logs/#跟蹤結(jié)果保存目錄||+--track/|||--cats.avi||+--track2/|||--cats.avi|--cats.mp4#測試視頻文件|--yolov8n.pt#官方預(yù)訓(xùn)練模型權(quán)重文件|--yolov8_seg_cat_best.pt#項目4的最佳訓(xùn)練模型權(quán)重文件|--yolov8-track.ipynb#代碼5-1、5-2|--track_overtime.py#代碼5-3

目錄2認(rèn)識YOLOv8-track1認(rèn)識目標(biāo)跟蹤3寵物貓運動軌跡追蹤可視化目錄2認(rèn)識YOLOv8-track3寵物貓運動軌跡追蹤可視化1認(rèn)識目標(biāo)跟蹤1.認(rèn)識目標(biāo)跟蹤

任務(wù)目標(biāo)(1)了解目標(biāo)跟蹤的定義與方法。(2)理解目標(biāo)跟蹤的評估指標(biāo)。1.1目標(biāo)跟蹤算法概述

目標(biāo)跟蹤（ObjectTracking）是計算機視覺領(lǐng)域中的一個核心任務(wù)，它指的是在連續(xù)的圖像序列（如視頻）中，自動定位和維持對特定目標(biāo)（如人、車輛、動物等）的識別和跟蹤。目標(biāo)跟蹤算法的目標(biāo)是在每一幀圖像中準(zhǔn)確地識別出目標(biāo)的位置，并記錄其隨時間的運動軌跡。在更技術(shù)性的層面上，目標(biāo)跟蹤可以被定義為一個動態(tài)的優(yōu)化問題，其中算法需要在每一幀中最小化一個目標(biāo)函數(shù)，該目標(biāo)函數(shù)衡量了預(yù)測的目標(biāo)位置與實際目標(biāo)位置之間的差異。這個過程涉及到多個步驟，包括但不限于目標(biāo)檢測、特征提取、目標(biāo)建模、狀態(tài)估計、數(shù)據(jù)關(guān)聯(lián)和跟蹤維護(hù)。1.1目標(biāo)跟蹤算法概述

目標(biāo)跟蹤的應(yīng)用體現(xiàn)01視頻監(jiān)控與分析07軍事應(yīng)用02自動駕駛系統(tǒng)06體育分析03機器人導(dǎo)航05生物行為分析04人機交互1.1目標(biāo)跟蹤算法概述

基于特征的方法：靈活，適合簡單背景和小幅度運動，但對特征選擇敏感基于檢測的方法：定位精度高，但依賴檢測器性能，復(fù)雜場景下魯棒性差基于濾波的方法：抗噪能力強，適合復(fù)雜運動模式，但依賴運動模型假設(shè)基于深度學(xué)習(xí)的方法：適應(yīng)性強，泛化能力好，但訓(xùn)練和推理成本高1.2目標(biāo)跟蹤算法評估指標(biāo)

IDSW（IDSwitches）：計算多目標(biāo)跟蹤中錯誤地將一個目標(biāo)的身份分配給另一個目標(biāo)的次數(shù)。身份切換越少，表示算法在識別目標(biāo)身份方面表現(xiàn)越好。1MOTA（MultipleObjectTrackingAccuracy）：衡量跟蹤算法整體性能的最廣泛使用的指標(biāo)，考慮了誤檢（FP）、漏檢（FN）和ID切換（IDSwitch）。MOTA值越高（接近1），表示跟蹤精度越高。2MOTP（MultipleObjectTrackingPrecision）：評估多目標(biāo)跟蹤系統(tǒng)在定位方面的準(zhǔn)確性，基于預(yù)測邊界框與真實標(biāo)注邊界框之間的幾何匹配程度。如果使用IoU，MOTP越大越好；如果使用歐式距離，MOTP越小越好。3IDF1分?jǐn)?shù)（IDF1Score）：衡量多目標(biāo)跟蹤系統(tǒng)中目標(biāo)身份識別一致性的指標(biāo)，基于IDP（IdentificationPrecision）和IDR（IdentificationRecall）的調(diào)和平均數(shù)。IDF1值范圍在0到1之間，值越高表示跟蹤算法在目標(biāo)ID的識別和維持一致性方面表現(xiàn)越好。4HOTA（HigherOrderTrackingAccuracy）：綜合評估檢測精度和關(guān)聯(lián)準(zhǔn)確性，彌補傳統(tǒng)MOTA/MOTP僅關(guān)注總體效果的不足。HOTA值范圍在0到1之間，值越接近1表示跟蹤性能越好。它提供了更全面的性能評估，涵蓋了檢測、跟蹤和關(guān)聯(lián)三個方面。5目錄3寵物貓運動軌跡追蹤可視化1認(rèn)識目標(biāo)跟蹤2認(rèn)識YOLOv8-track2.認(rèn)識YOLOv8-track任務(wù)目標(biāo)（1）了解YOLOv8-track框架，包括BoT-SORT和ByteTrack算法原理與參數(shù)配置。（2）掌握基于YOLOv8-track的寵物貓目標(biāo)跟蹤的實戰(zhàn)應(yīng)用。2.1YOLOv8-track框架

YOLOv8的跟蹤框架目前支持兩種追蹤算法——BoT-SORT和ByteTrack，每個算法都有其特定的應(yīng)用場景和特點。例如，BoT-SORT算法結(jié)合了多種技術(shù)如全局運動補償、外觀匹配和接近度匹配等，適合于場景中有中斷或遮擋的情況。而ByteTrack算法則強調(diào)在實時性和準(zhǔn)確性之間的平衡，特別適用于需要高速處理和實時性能的應(yīng)用。2.2YOLOv8-track實戰(zhàn)應(yīng)用

fromultralyticsimportYOLO

model=YOLO('yolov8n.pt')#加載YOLOv8目標(biāo)檢測官方預(yù)訓(xùn)練模型權(quán)重文件#基于加載的目標(biāo)檢測器執(zhí)行跟蹤任務(wù)results=model.track(

source="cats.mp4",

#指定測試視頻文件save=True,#保存結(jié)果文件project='track_logs',#指定保存目錄tracker="bytetrack.yaml"

#指定bytetrack為跟蹤器，默認(rèn)為Bot-SORT)加載官方的目標(biāo)檢測預(yù)訓(xùn)練權(quán)重文件yolov8n.pt后，運行track()函數(shù)對測試視頻文件”cats.mp4”進(jìn)行推理獲取目標(biāo)跟蹤結(jié)果推理結(jié)果視頻：2.2YOLOv8-track實戰(zhàn)應(yīng)用

加載項目4中訓(xùn)練的寵物貓實例分割最佳模型權(quán)重文件“yolov8_seg_cat_best.pt”后，再運行track()函數(shù)對測試視頻文件”cats.mp4”進(jìn)行推理獲取目標(biāo)跟蹤結(jié)果推理結(jié)果視頻：fromultralyticsimportYOLO

model=YOLO('yolov8_seg_cat_best.pt')#加載項目4中訓(xùn)練的寵物貓實例分割最佳模型文件#基于加載的寵物貓實例分割器執(zhí)行跟蹤任務(wù)results=model.track(

source="cats.mp4",

#指定測試視頻文件save=True,#保存結(jié)果文件project='track_logs',#指定保存目錄tracker="botsort.yaml"

#指定Bot-SORT為跟蹤器)2.2YOLOv8-track實戰(zhàn)應(yīng)用

根據(jù)以上兩份不同的跟蹤結(jié)果，我們可以看到，YOLOv8-track采用不同的目標(biāo)檢測器或?qū)嵗指钇?，特別是一個高精度的目標(biāo)檢測器對最終跟蹤結(jié)果的影響非常大。我們需要根據(jù)不同的場景和要求，采用不同的目標(biāo)檢測器和跟蹤器。目錄3寵物貓運動軌跡追蹤可視化1認(rèn)識目標(biāo)跟蹤2認(rèn)識YOLOv8-track3.寵物貓運動軌跡追蹤可視化

任務(wù)目標(biāo)(1)理解視頻流數(shù)據(jù)的基本處理和表示方法，學(xué)會從視頻中提取和處理幀序列。(2)掌握YOLOv8模型track函數(shù)返回結(jié)果的處理(3)掌握追蹤軌跡的存儲與刪除管理。(4)掌握追蹤軌跡的可視化展示。3寵物貓運動軌跡追蹤可視化

代碼文件track_overtime.py實現(xiàn)了對視頻文件中物體的追蹤，通過保留檢測到的邊界框的中心點并連接它們，然后繪制表示跟蹤物體路徑的線條，為視頻分析提供了有價值的洞見。如圖5-3所示，邊界框里的黃色線條為目標(biāo)過去60幀的運動軌跡，可以看到id為1的目標(biāo)的運動軌跡幾乎在原地不動，id為2的目標(biāo)的運動軌跡則是一直向前移動。圖5-3運動軌跡可視化結(jié)果第45幀圖片知識要點為幫助讀者回顧項目的重點內(nèi)容，總結(jié)項目中涉及到的主要知識點：

（1）了解目標(biāo)跟蹤的定義、方法與常見的應(yīng)用領(lǐng)域。

（2）掌握ByteTrack、BoT-SORT算法的基本原理。

（3）掌握YOLOv8-track目標(biāo)跟蹤的實現(xiàn)步驟，包括模型加載、執(zhí)行跟蹤和繪制跟蹤結(jié)果。經(jīng)驗總結(jié)在實現(xiàn)基于YOLOv8-track的寵物貓目標(biāo)跟蹤系統(tǒng)時，以下幾個實用的建議可以幫助優(yōu)化跟蹤性能和效率：1）

理解目標(biāo)跟蹤的關(guān)鍵概念清晰了解寵物貓目標(biāo)跟蹤的核心組成部分，包括目標(biāo)檢測、特征提取、數(shù)據(jù)關(guān)聯(lián)以及時序分析的原理，這對于有效地設(shè)計和實施跟蹤算法至關(guān)重要。2）

精確的目標(biāo)檢測器選