數(shù)字音視頻處理 課件 第9章 數(shù)字音視頻技術(shù)的交叉應(yīng)用

第9章

數(shù)字音視頻技術(shù)的

交叉應(yīng)用9.1數(shù)字圖像視頻處理技術(shù)在空間物理中的應(yīng)用9.2數(shù)字圖像視頻處理技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用9.3生成模型概覽9.4本章小結(jié)

9.1數(shù)字圖像視頻處理技術(shù)在空間物理中的應(yīng)用

9.1.1概述空間物理主要研究地球空間、日地空間和行星際空間的物理現(xiàn)象，是人類進(jìn)入太空時(shí)代以來(lái)迅速發(fā)展起來(lái)的新興學(xué)科，主要利用空間飛行器對(duì)太陽(yáng)、行星際空間、地球和行星的大氣層、電離層、磁層等進(jìn)行研究，并研究空間環(huán)境對(duì)地球生態(tài)環(huán)境的影響。

空間物理研究需要借助極光成像設(shè)備和雷達(dá)觀測(cè)設(shè)備獲得極光數(shù)據(jù)，極光數(shù)據(jù)從極區(qū)臺(tái)站傳輸至中國(guó)極地研究中心，并進(jìn)行后續(xù)的雷達(dá)信號(hào)處理、極光圖像和視頻數(shù)據(jù)分析、建模和預(yù)測(cè)等工作。這些數(shù)據(jù)傳輸和處理過(guò)程都需要圖像、視頻壓縮編碼等電子信息技術(shù)支撐，比如極光圖像和視頻分析前需要完成圖像的降噪、增強(qiáng)、目標(biāo)分割。因此，將音視頻處理技術(shù)與空間物理學(xué)融合并交叉發(fā)展很有必要，且將更好地促進(jìn)空間物理學(xué)發(fā)展。

9.1.2極光圖像分類

極光是太陽(yáng)風(fēng)通過(guò)日側(cè)極隙區(qū)注入地球磁層時(shí)沉降粒子沿磁力線與地球高層大氣相互作用而產(chǎn)生的絢麗光輝。極光是極區(qū)空間天氣物理過(guò)程的觀測(cè)窗口，直接反映了太陽(yáng)風(fēng)與地磁層的耦合過(guò)程，蘊(yùn)含著大量日地空間的電磁活動(dòng)信息，有著深刻的研究意義。目前，中國(guó)極地研究中心已經(jīng)對(duì)極光觀測(cè)圖像進(jìn)行了初步分析，從形態(tài)上將其大致分為弧狀和冕狀兩類，而冕狀又可細(xì)分為輻射型冕狀、熱點(diǎn)型冕狀和帷幔型冕狀，如圖9-1所示。

圖9-14種極光圖像形態(tài)

1.基于分層小波模型的極光圖像分類算法

基于分層小波模型的極光圖像分類系統(tǒng)流程如圖9-2所示，主要包括預(yù)處理、特征提取、特征降維和分類器訓(xùn)練4個(gè)部分。

(1)預(yù)處理。由于原始圖片中鏡頭邊緣處有燈光等干擾，所以需要對(duì)其進(jìn)行一定的剪裁和掩膜操作，以達(dá)到位置校準(zhǔn)、光線歸一化的目的。

(2)特征提取。將預(yù)處理后的圖像按分層小波模型提取全局和局部特征，進(jìn)行歸一化處理后，構(gòu)成極光圖像的特征向量。

(3)特征降維。由于特征向量的高維數(shù)會(huì)導(dǎo)致計(jì)算時(shí)間的消耗，特征向量之間的相關(guān)性也會(huì)造成特征冗余，影響特征的區(qū)分性，因此，這里采用主成分分析(PCA)對(duì)特征進(jìn)行降維。

(4)分類器訓(xùn)練。對(duì)降維后的特征向量采用支持向量機(jī)(SVM)訓(xùn)練分類器，并將其用于測(cè)試圖像的分類。

圖9-2基于分層小波模型的極光圖像分類系統(tǒng)流程

特征提取主要采用二維小波離散變換對(duì)預(yù)處理的極光圖像進(jìn)行處理。二維小波分解示意圖如圖9-3所示，首先對(duì)圖像按行進(jìn)行一維小波變換，生成大小相同的低頻子圖像和高頻子圖像，然后按列進(jìn)行一維小波變換，將每個(gè)子圖像又分解為低頻部分和高頻部分。

圖9-3二維小波分解示意圖

圖9-4所示為極光圖像進(jìn)行兩層小波分解后的偽彩圖結(jié)果，從中可以看出，小波分解將極光圖像的高頻紋理部分和低頻平滑部分分解，各個(gè)分解圖的特征可以很好地表示不同極光圖像的紋理分布，從而用于最終的極光圖像分類決策。

圖9-4極光圖像小波分解偽彩圖

2.融合顯著信息的LDA極光圖像分類算法

融合顯著信息的潛在狄利克雷分配(ScaleInvariantLinearDiscriminant，SI-LDA)極光圖像分類算法流程如圖9-5所示，主要分為5個(gè)步驟：極光圖像的頂帽變換、極光圖像的視覺(jué)單詞提取、極光圖像的譜殘差顯著圖獲取、譜殘差顯著圖的視覺(jué)單詞提取、極光圖像的SI-LDA表示。

圖9-5SI-LDA算法流程圖

1)極光圖像的頂帽變換

在極光圖像拍攝過(guò)程中，由于拍攝設(shè)備的暗電流以及大氣層的影響，極光圖像存在亮度不均勻的現(xiàn)象，我們可以通過(guò)頂帽變換來(lái)改善這一現(xiàn)象，圖9-6為頂帽變換后圖像與原極光圖像對(duì)比圖。頂帽變換的定義為

其中I

表示原極光圖像，Itophat表示頂帽變換后圖像，I°e表示原極光圖像的開(kāi)運(yùn)算。

圖9-6頂帽變換后圖像與原極光圖像對(duì)比圖

3)極光圖像的譜殘差顯著圖獲取

譜殘差是專門針對(duì)灰度圖像提取顯著圖的方法，其算法流程十分簡(jiǎn)潔，步驟如下：

圖9-7所示為極光圖像的譜殘差顯著圖實(shí)例。圖9-7極光圖像原圖與其譜殘差顯著圖

4)譜殘差顯著圖的視覺(jué)單詞提取與步驟2)相同。

5)極光圖像的SI-LAD表示

對(duì)極光圖像IN

的語(yǔ)義加強(qiáng)型文檔CN進(jìn)行一定次數(shù)的Gibbs采樣迭代，就可以得到極光圖像的SI-LDA表示。其步驟如下：

(1)對(duì)于文檔中的單詞wi，隨機(jī)設(shè)定其所屬主題zi，令{

zi={1，2，…，T}}，i=1，2，…，K。其中，T

為主題個(gè)數(shù)；K

為單詞總數(shù)，即字典大小。該狀態(tài)為Markov鏈的初始狀態(tài)。

(2)從1循環(huán)到

K，根據(jù)公式將詞匯分配給某個(gè)主題，獲取Markov鏈的下一個(gè)狀態(tài)。

(3)第(2)步迭代足夠次數(shù)以后，認(rèn)為Markov鏈接近目標(biāo)分布，就取zi(i從1循環(huán)到K)的當(dāng)前值作為樣本記錄下來(lái)。

(4)統(tǒng)計(jì)每篇文檔中單詞分配到各個(gè)主題的次數(shù)，即完成SI-LAD表示。

9.1.3極光視頻分類

極光是一種非剛體運(yùn)動(dòng)，其圖像包含豐富的細(xì)節(jié)及隨機(jī)性很強(qiáng)的形狀變化，極光序列中蘊(yùn)含著豐富的時(shí)間相關(guān)信息，提取其動(dòng)態(tài)特征對(duì)實(shí)現(xiàn)極光序列識(shí)別很重要。典型極光序列如圖9-8所示。

圖9-8典型極光序列

1.基于張量動(dòng)態(tài)紋理模型的極光視頻分類

基于極光視頻動(dòng)態(tài)紋理建模的極光視頻事件識(shí)別步驟：首先對(duì)四類極光視頻進(jìn)行普適性動(dòng)態(tài)紋理建模，然后利用矩陣奇異值分解(SingularValueDecomposition，SVD)對(duì)動(dòng)態(tài)紋理模型求解，最后用模型參數(shù)間的馬丁距離衡量極光序間的差異性，采用最小距離分類器和支持向量機(jī)(SVM)分類器實(shí)現(xiàn)四類典型形態(tài)的極光序列的自動(dòng)分類識(shí)別。為進(jìn)一步提高模型緊湊度，引入張量分解，建立張量動(dòng)態(tài)紋理模型。

不同于動(dòng)態(tài)紋理模型只關(guān)注序列幀間的重復(fù)相關(guān)性，張量動(dòng)態(tài)紋理模型同時(shí)分析序列幀間的重復(fù)相關(guān)性和圖像幀內(nèi)各個(gè)部分間的重復(fù)相關(guān)性，從時(shí)間和空間維度上同時(shí)進(jìn)行分解，減少模型冗余的同時(shí)提高了分類準(zhǔn)確率。整體流程圖如圖9-9所示。

圖9-9-基于張量動(dòng)態(tài)紋理模型的極光視頻分類算法流程圖

2.基于黏性流體粒子運(yùn)動(dòng)模型的視頻序列分類

該方法的具體實(shí)現(xiàn)步驟如下：對(duì)輸入的極光序列進(jìn)行預(yù)處理；運(yùn)用黏性流體力學(xué)模型計(jì)算預(yù)處理后的極光粒子的運(yùn)動(dòng)場(chǎng)；提取極光粒子運(yùn)動(dòng)場(chǎng)的局部二值模式特征，作為極光序列的動(dòng)態(tài)特征P1；提取極光序列每幀極光圖像像素值的局部二值模式特征，作為極光序列的靜態(tài)特征P2；將P1與P2相結(jié)合，得到能夠表征不同形態(tài)極光序列的特征P=(P1，P2)，將這些不同形態(tài)極光序列的特征P

輸入SVM分類器中完成分類。整體流程圖如圖9-10所示。

圖9-10基于黏性流體粒子運(yùn)動(dòng)模型的視頻序列分類方法算法流程圖

9.2數(shù)字圖像視頻處理技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用

9.2.1概述醫(yī)學(xué)影像學(xué)是研究借助于某種介質(zhì)與人體相互作用，把人體內(nèi)部組織器官結(jié)構(gòu)、密度以影像方式表現(xiàn)出來(lái)，供診斷醫(yī)師根據(jù)影像提供的信息進(jìn)行判斷，從而對(duì)人體健康狀況進(jìn)行評(píng)價(jià)的一門科學(xué)。醫(yī)學(xué)影像技術(shù)與臨床緊密相關(guān)，是臨床不可或缺的輔助學(xué)科。

9.2.2AI輔助診斷

1.病理圖像分類

傳統(tǒng)病理圖像分類是指臨床醫(yī)生借助醫(yī)學(xué)圖像來(lái)輔助診斷人體是否有病灶，并對(duì)病灶的輕重程度進(jìn)行量化分級(jí)。隨著AI技術(shù)的發(fā)展，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大的成功，激發(fā)了許多國(guó)內(nèi)外學(xué)者將其應(yīng)用于醫(yī)療圖像分析。下面簡(jiǎn)單介紹一下如何利用深度學(xué)習(xí)進(jìn)行甲狀腺病理圖像分類。

1)基于深度主動(dòng)學(xué)習(xí)的甲狀腺癌病理圖像分類方法

該方法引入將卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks，CNN)和主動(dòng)學(xué)習(xí)相結(jié)

合的分類方法，無(wú)須標(biāo)記所有數(shù)據(jù)，僅選擇少量樣本進(jìn)行標(biāo)注。該方法利用CNN提取病理圖像的特征，進(jìn)而使用該特征計(jì)算未標(biāo)注樣本的不確定性和相似性，選擇“有價(jià)值”的樣本，然后由病理學(xué)家對(duì)選定的樣本進(jìn)行標(biāo)注，并不斷微調(diào)網(wǎng)絡(luò)以增強(qiáng)模型的分類性能。

該方法主要包括三個(gè)部分：深度CNN框架、樣本不確定性評(píng)估與相似性評(píng)估、樣本選擇與模型更新。深度CNN框架包括兩個(gè)模塊，如圖9-11所示，虛線框①內(nèi)模塊用于計(jì)算無(wú)標(biāo)簽樣本的信息熵以及模型參數(shù)更新，虛線框②內(nèi)模塊為特征哈希碼提取模塊，用于學(xué)習(xí)輔助數(shù)據(jù)集中的樣本和甲狀腺數(shù)據(jù)集中樣本的深度哈希碼。該方法通過(guò)評(píng)估樣本的不確定性與樣本間的相似性來(lái)選擇標(biāo)注樣本，較高的不確定性表示樣本有較高的信息量，樣本間相似性的評(píng)估能夠輔助去除冗余樣本，以更少的標(biāo)注樣本獲得最優(yōu)的分類模型。注釋樣本的選擇綜合考慮樣本的不確定性以及代表性。

圖9-11基于深度主動(dòng)學(xué)習(xí)的甲狀腺癌病理圖像分類方法算法框架圖

2)基于深度學(xué)習(xí)的甲狀腺乳頭狀癌病理圖像分類方法

該方法具體方案是：(1)讀取放大因子為20的甲狀腺乳頭狀癌病理切片圖像，并將其輸入改進(jìn)后VGG-f卷積神經(jīng)網(wǎng)絡(luò)，獲得注意力熱圖；(2)將注意力圖歸一化，獲得判別力熱圖；讀取40倍放大的甲狀腺癌病理并根據(jù)判別力區(qū)域位置獲得圖像塊；(3)將圖像塊輸入原始VGG-f網(wǎng)絡(luò)并構(gòu)建損失函數(shù)，對(duì)該網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練；(4)提取訓(xùn)練好的VGG-f網(wǎng)絡(luò)卷積特征并進(jìn)行分類處理得到圖像塊的類別；(5)根據(jù)圖像塊的類別判斷出甲狀腺癌病理圖像的類別?；谏疃葘W(xué)習(xí)的甲狀腺乳頭狀癌病理圖像分類方法算法框圖如圖9-12所示。

圖9-12基于深度學(xué)習(xí)的甲狀腺乳頭狀癌病理圖像分類方法算法框圖

2.BioMind新冠肺炎CT影像AI定性輔助診斷系統(tǒng)

疫情初期，為了緩解新冠病毒疫情診斷對(duì)基層醫(yī)療單位的巨大壓力，在2020年大年初四，由工信部牽頭，天壇醫(yī)院、解放軍總醫(yī)院、BioMind聯(lián)合開(kāi)始了“新冠病毒感染CT影像人工智能輔助診斷”專題攻關(guān)任務(wù)，并成功推出了一套專門的AI定性診斷系統(tǒng)。這套新冠AI定性診斷系統(tǒng)不僅能夠?qū)崿F(xiàn)新冠病毒感染診斷，還能實(shí)現(xiàn)新冠病毒感染與病毒性肺炎、細(xì)菌性肺炎等的進(jìn)一步鑒別診斷，如圖9-13所示。

圖9-13BioMind新冠肺炎CT影像AI定性輔助診斷系統(tǒng)界面示例

西安交大一附院郭佑民教授團(tuán)隊(duì)研制的“新冠病毒肺部感染輔助診斷系統(tǒng)”，實(shí)現(xiàn)了對(duì)新冠病毒感染者肺內(nèi)病變部位的快速檢出，定量評(píng)價(jià)病變范圍和病變演變過(guò)程，其準(zhǔn)確率高達(dá)95%以上。該診斷系統(tǒng)依托專家訓(xùn)練、人工智能結(jié)合傳統(tǒng)的計(jì)算機(jī)視覺(jué)技術(shù)對(duì)新冠病毒感染患者肺部的病變區(qū)域進(jìn)行分割和計(jì)算(見(jiàn)圖9-14)，可以同時(shí)獲取病變區(qū)域的體積、密度、磨玻璃成分等定量參數(shù)(見(jiàn)圖9-15)，尤其是對(duì)于患者隨訪的數(shù)據(jù)可以實(shí)時(shí)進(jìn)行圖像配準(zhǔn)，精準(zhǔn)定位病灶的位置和大小，方便比較病變的消長(zhǎng)。

圖9-14肺部CT圖像分割可視化結(jié)果

圖9-15基于圖像可視化技術(shù)定量展示病變的分布和范圍

9.2.3疫情狀態(tài)分析

疫情發(fā)生以來(lái)，大數(shù)據(jù)、機(jī)器學(xué)習(xí)、人工智能等技術(shù)的價(jià)值同樣在這場(chǎng)抗疫戰(zhàn)斗中得到充分的展現(xiàn)。這些技術(shù)的優(yōu)勢(shì)在于可根據(jù)疫情的不同發(fā)展階段、不同地區(qū)政府的政策措施對(duì)模型進(jìn)行適應(yīng)性調(diào)試和改進(jìn)，通過(guò)歷史數(shù)據(jù)利用機(jī)器學(xué)習(xí)算法進(jìn)行學(xué)習(xí)訓(xùn)練，得到預(yù)測(cè)疫情發(fā)展的數(shù)學(xué)模型，并能夠根據(jù)疫情的最新數(shù)據(jù)不斷學(xué)習(xí)優(yōu)化模型，來(lái)提供實(shí)時(shí)預(yù)測(cè)。如圖9-16所示，清華大學(xué)的AMiner團(tuán)隊(duì)以官方公布數(shù)據(jù)為基礎(chǔ)，預(yù)測(cè)確診人數(shù)、治愈人數(shù)等數(shù)據(jù)上的變化趨勢(shì)，尋找疫情拐點(diǎn)。

圖9-16疫情感染人數(shù)預(yù)測(cè)

9.2.4疫情風(fēng)險(xiǎn)評(píng)估

在匯集大量的健康狀態(tài)數(shù)據(jù)之后，結(jié)合確診人數(shù)、治愈人數(shù)，地區(qū)人口數(shù)量、面積、醫(yī)療指數(shù)等，研究人員利用數(shù)據(jù)進(jìn)行深入分析，推出了基于知識(shí)的全球新冠疫情風(fēng)險(xiǎn)評(píng)估和輔助決策系統(tǒng)。該系統(tǒng)主要在于預(yù)測(cè)地區(qū)新冠疫情的風(fēng)險(xiǎn)指數(shù)，從而可以輔助決策何時(shí)復(fù)工復(fù)產(chǎn)、開(kāi)學(xué)等。該風(fēng)險(xiǎn)指數(shù)的評(píng)估不僅涵蓋了全球各地區(qū)，同時(shí)還是多級(jí)別、細(xì)粒度風(fēng)險(xiǎn)指數(shù)評(píng)估。針對(duì)面積較大、疫情較為嚴(yán)重的國(guó)家，預(yù)測(cè)還可以具體到省或州等更小級(jí)別的評(píng)估。

除此之外，該評(píng)估指數(shù)會(huì)隨著疫情數(shù)據(jù)的變化、關(guān)鍵事件的發(fā)生進(jìn)行動(dòng)態(tài)更新。如圖9-17和圖9-18所示，該系統(tǒng)除了可以可視化展示各地區(qū)的風(fēng)險(xiǎn)評(píng)估指數(shù)以外，還提供了全球疫情事件時(shí)間軸、全球?qū)崟r(shí)疫情數(shù)據(jù)和

預(yù)

測(cè)，幫助大家了解全球疫情傳播狀況。

圖9-17全球新冠肺炎疫情預(yù)測(cè)地圖

圖9-18全球疫情事件時(shí)間軸

9.2.5病毒變異預(yù)測(cè)

雖然新冠病毒大流行已經(jīng)進(jìn)入全民免疫階段，但全球范圍內(nèi)的新冠病毒變異株多達(dá)幾十種，迄今為止，其基因序列還在發(fā)生變化。因此，了解和預(yù)測(cè)包括新冠病毒在內(nèi)的冠狀病毒未來(lái)變種，有望促進(jìn)下一代抗體療法及疫苗的研發(fā)，同時(shí)，也可以為制定公共衛(wèi)生政策提供重要參考。

9.3生成模型概覽

9.3.1概述在概率統(tǒng)計(jì)理論中，生成模型是指能夠在給定某些隱含參數(shù)的條件下，隨機(jī)生成觀測(cè)數(shù)據(jù)的模型，它給觀測(cè)值和標(biāo)注數(shù)據(jù)序列指定一個(gè)聯(lián)合概率分布。在機(jī)器學(xué)習(xí)中，生成模型可以用來(lái)直接對(duì)數(shù)據(jù)建模，對(duì)于輸入的隨機(jī)樣本能夠產(chǎn)生我們所期望生成的數(shù)據(jù)。

生成模型可以分為兩個(gè)類型：第一種類型的生成模型可以完全表示出數(shù)據(jù)確切的分布函數(shù)；第二種類型的生成模型只能做到新數(shù)據(jù)的生成，數(shù)據(jù)分布函數(shù)則是模糊的。IanGoodfellow在NIPS2016的演講中給出了很多生成模型的研究意義。

9.3.2ChatGPT

ChatGPT是由OpenAI基

于GPT-4架

構(gòu)

開(kāi)

發(fā)

的

大

型

語(yǔ)

言

模

型。GPT(GenerativePre-trainTransformer)是目前最先進(jìn)的自然語(yǔ)言處理技術(shù)，讓AI具備了強(qiáng)大的語(yǔ)言理解與表達(dá)能力。ChatGPT可以幫助用戶處理各種語(yǔ)言任務(wù)，如寫(xiě)作、閱讀、翻譯、解答問(wèn)題等。它覆蓋了多種語(yǔ)言，為全球用戶提供服務(wù)。

G代表生成模型(GenerativeModel)，是一種計(jì)算機(jī)程序，仿照人腦結(jié)構(gòu)并通過(guò)大量數(shù)據(jù)學(xué)習(xí)來(lái)完成指令任務(wù)，它可以學(xué)習(xí)數(shù)據(jù)的特征，并創(chuàng)造出類似的新數(shù)據(jù)。簡(jiǎn)單來(lái)說(shuō)，生成模型就像是一個(gè)藝術(shù)家，觀察并學(xué)習(xí)現(xiàn)實(shí)世界的樣子，然后創(chuàng)作出新的作品。和傳統(tǒng)計(jì)算機(jī)系統(tǒng)的不同之處在于，它給出的結(jié)果往往是不確定的，每次的反應(yīng)都可能不同，生成模型會(huì)隨著系統(tǒng)進(jìn)步而變得更快、更聰明。

P代表預(yù)訓(xùn)練模型(Pre-trainedModel)，是一個(gè)通過(guò)大量數(shù)據(jù)進(jìn)行訓(xùn)練并被保存的網(wǎng)絡(luò)?？梢詫⑵渫ㄋ椎乩斫鉃檠芯空邽榱私鉀Q類似問(wèn)題所創(chuàng)造出來(lái)的一個(gè)模型，有了先前的模型，當(dāng)我們遇到新的問(wèn)題時(shí)，便不再需要從零開(kāi)始訓(xùn)練新模型，而可以直接用這個(gè)模型入手，進(jìn)行簡(jiǎn)單的學(xué)習(xí)便可解決該新問(wèn)題。

T代表Transformer，是一種用于語(yǔ)言理解的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，是Google團(tuán)隊(duì)2017年6月提出的自然語(yǔ)言處理(NaturalLanguageProcessing，NLP)領(lǐng)域具有突破性意義的研究成果，是在AshishVaswani等人發(fā)表的論文“AttentionIsAllYouNeed”中提出的。

ChatGPT能幫你寫(xiě)出各種類型的文章，如軟文、公關(guān)稿、博客、小說(shuō)等。無(wú)論你是創(chuàng)作高手還是寫(xiě)作新手，ChatGPT都能為你提供專業(yè)的寫(xiě)作建議，讓你的文字更加精彩。

1.ChatGPT的演變歷程

算法模式經(jīng)歷了GPT-1(2018年)、GPT-2(2019年)、GPT-3(2020年)和InstructGPT(2022年初)四個(gè)版本。

GPT-1(2018年)：僅需要對(duì)預(yù)訓(xùn)練的語(yǔ)言模型作很小的結(jié)構(gòu)改變，即加一層線性層，即可方便地應(yīng)用于下游各種任務(wù)。

GPT-2(2019年)：使用zero-shot設(shè)定，基本實(shí)現(xiàn)一勞永逸，訓(xùn)練一個(gè)模型，在多個(gè)任務(wù)上都能使用。

GPT-3(2020年)：不通過(guò)任何樣例學(xué)習(xí)，而是利用少量樣本去學(xué)習(xí)，更接近人腦學(xué)習(xí)模式。

InstructGPT(2022年初)：經(jīng)過(guò)多任務(wù)的微調(diào)后，能在其他任務(wù)上實(shí)現(xiàn)zero-shot預(yù)測(cè)，泛化能力極大提升。InstuctGPT可以理解成是GPT-3的微調(diào)版本，與GPT-3相比更擅長(zhǎng)遵循指令，回答更真實(shí)，且有害情緒輸出大幅下降。

ChatGPT可以理解成GPT-3.5的微調(diào)版本，相較于InstructGPT，ChatGPT效果更加真實(shí)，模型的無(wú)害性實(shí)現(xiàn)些許提升，編碼能力更強(qiáng)。

ChatGPT使用的新的AI訓(xùn)練方法，加大“人”的反饋權(quán)重。訓(xùn)練過(guò)程包括訓(xùn)練監(jiān)督策略模型、訓(xùn)練獎(jiǎng)勵(lì)模型(RewardMode，RM)、采用PPO(ProximalPolicyOptimization，近端策略優(yōu)

化)三個(gè)階段，在持續(xù)參數(shù)迭代的過(guò)程中，輸入獎(jiǎng)勵(lì)模型，得到優(yōu)化參數(shù)。ChatGPT會(huì)不斷重復(fù)第二和第三階段，通過(guò)迭代，訓(xùn)練出更高質(zhì)量的ChatGPT模型。

2.ChatGPT的應(yīng)用

(1)寫(xiě)文本，如圖9-19、圖9-20和圖9-21所示。

(2)問(wèn)題解答，如圖9-22、圖9-23所示。

(3)翻譯助手，如圖9-24所示。

(4)心理輔導(dǎo)專家，如圖9-25所示。

圖9-19-ChatGPT寫(xiě)文本示例

圖9-20ChatGPT寫(xiě)論文大綱

圖9-21ChatGPT寫(xiě)郵件示例

圖9-22ChatGPT解決數(shù)學(xué)問(wèn)題

圖9-23ChatGPT解答高數(shù)題目

圖9-24ChatGPT翻譯文本示例

圖9-25ChatGPT心理輔導(dǎo)文本示例

9.3.3BingChat

基于