人工智能通識導(dǎo)論（慕課版）課件 第2章 人工智能如何工作

ArtificialIntelligence人工智能如何工作第2章人工智能通識導(dǎo)論編者：×××2.1人工智能的工作流程與三大要素2.2人工智能的核心——機(jī)器學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)2.3課堂實踐2.42.1.1?人工智能的工作流程數(shù)據(jù)收集數(shù)據(jù)預(yù)處理模型選擇訓(xùn)練模型持續(xù)學(xué)習(xí)部署模型優(yōu)化測試與評估2.1.2?人工智能的三大要素1．人工智能的燃料——數(shù)據(jù)數(shù)據(jù)的重要性模型訓(xùn)練和性能決策支持適應(yīng)性泛化能力數(shù)據(jù)是訓(xùn)練人工智能大模型的基礎(chǔ)，模型的性能在很大程度上取決于訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量大規(guī)模的數(shù)據(jù)有助于模型捕捉到更細(xì)微的模式和特征，提高模型的泛化能力多樣化的數(shù)據(jù)集可以幫助模型在各種任務(wù)中表現(xiàn)出更好的泛化能力在復(fù)雜環(huán)境下，大量的數(shù)據(jù)可以為決策支持系統(tǒng)提供大量的事實依據(jù)，使得人工智能大模型能夠更好地完成智能決策2.1.2?人工智能的三大要素數(shù)據(jù)的來源公開數(shù)據(jù)互聯(lián)網(wǎng)項目定制化數(shù)據(jù)采集自研數(shù)據(jù)交換數(shù)據(jù)購買數(shù)據(jù)2.1.2?人工智能的三大要素數(shù)據(jù)處理的方法數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)歸一化數(shù)據(jù)集劃分?jǐn)?shù)據(jù)集成數(shù)據(jù)標(biāo)注數(shù)據(jù)增強(qiáng)特征工程2.1.2?人工智能的三大要素2．人工智能的動力源泉——算力算力的分類基礎(chǔ)算力新一代算力超級算力智能算力計算系統(tǒng)執(zhí)行基本運(yùn)算任務(wù)的能力，涵蓋日常計算中常見的加、減、乘、除等簡單數(shù)學(xué)計算，是計算任務(wù)的基礎(chǔ)起點智能算力通過模仿人腦的學(xué)習(xí)機(jī)制，能夠?qū)崿F(xiàn)對復(fù)雜數(shù)據(jù)的處理使用超級計算系統(tǒng)進(jìn)行大規(guī)模并行計算的能力，通常用于解決非常復(fù)雜的科學(xué)和工程問題超越傳統(tǒng)計算架構(gòu)的新技術(shù)，在某些特定問題上可以實現(xiàn)比現(xiàn)有技術(shù)更高效、更快速的解決方案2.1.2?人工智能的三大要素算力的構(gòu)成01硬件資源02計算架構(gòu)03網(wǎng)絡(luò)04軟件優(yōu)化05能源管理2.1.2?人工智能的三大要素算力中心主要由基于CPU芯片的服務(wù)器提供算力，能夠滿足一般企業(yè)和個人的計算需求。阿里云、騰訊云、華為云等均是通用算力中心的代表。通用算力中心由基于GPU、FPGA、ASIC等芯片的加速計算平臺提供算力，主要用于人工智能的訓(xùn)練和推理計算，可以應(yīng)用于計算機(jī)視覺、自然語言處理、機(jī)器學(xué)習(xí)等領(lǐng)域智算中心基于超級計算機(jī)或大規(guī)模計算集群的數(shù)據(jù)中心，能夠提供大規(guī)模計算、存儲和網(wǎng)絡(luò)服務(wù)等功能超算中心是一種集成了多種計算資源和技術(shù)的綜合型數(shù)據(jù)中心。它不僅包括基于CPU的通用算力，還包括基于GPU、FPGA、ASIC等芯片的智算能力和基于超級計算機(jī)的大規(guī)模算力融合算力中心2.1.2?人工智能的三大要素3．人工智能的“大腦”——算法算法的特征01有窮性02確定性03可行性05輸出項04輸入項2.1.2?人工智能的三大要素人工智能算法的含義人工智能算法可以理解為算法的一個子集，是一系列用于解決特定問題、模擬智能行為或進(jìn)行自主學(xué)習(xí)的程序指令和規(guī)則。人工智能算法能夠處理和分析大量數(shù)據(jù)，識別數(shù)據(jù)中的模式，并據(jù)此做出決策或預(yù)測，其目的在于通過模擬人類智能的運(yùn)作機(jī)制，賦予機(jī)器類似人類的思考、理解、學(xué)習(xí)與創(chuàng)新能力。2.1.2?人工智能的三大要素人工智能算法的發(fā)展過程1943年，美國心理學(xué)家沃倫·麥卡洛克和數(shù)學(xué)家沃爾特·皮茨提出了第一個神經(jīng)元模型，即M-P模型1951年，馬文·明斯基和迪恩·埃德蒙茲（DeanEdmonds）發(fā)明了第一臺模擬神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)器——SNARC1956年誕生的“邏輯理論家”程序使用早期編程語言——信息處理語言（InformationProcessingLanguage，IPL）編寫1966年誕生的ELIZA聊天機(jī)器人，其核心算法基于模式匹配與轉(zhuǎn)換規(guī)則，即通過預(yù)定義的分解規(guī)則識別輸入的關(guān)鍵詞，再按重組規(guī)則生成響應(yīng)2.1.2?人工智能的三大要素1968年，美國斯坦福大學(xué)的愛德華·費(fèi)根鮑姆（EdwardFeigenbaum）教授和化學(xué)家喬舒亞·萊德伯格（JoshuaLederberg）合作成功研發(fā)出世界上第一個專家系統(tǒng)DENDRAL1976年，美國斯坦福大學(xué)的愛德華·H.肖特利弗（EdwardH.Shortliffe）等人研發(fā)出MYCIN醫(yī)療專家系統(tǒng)，并在算法架構(gòu)和推理機(jī)制上實現(xiàn)了多項突破20世紀(jì)80年代初，隨著計算機(jī)硬件的進(jìn)步，商用專家系統(tǒng)RI（又名XCON）問世2006年，杰弗里·辛頓及其團(tuán)隊提出了深度信念網(wǎng)絡(luò)（DeepBeliefNetwork，DBN）2014年，伊恩·古德費(fèi)羅（IanGoodfellow）等人提出生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN）算法2017年，谷歌公司提出了Transformer模型2018年，谷歌公司下屬的DeepMind團(tuán)隊開發(fā)了AlphaZero，AlphaZero基于強(qiáng)化學(xué)習(xí)算法運(yùn)作2021年，谷歌公司DeepMind團(tuán)隊開發(fā)了AlphaFold2.1人工智能的工作流程與三大要素2.2人工智能的核心——機(jī)器學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)2.3課堂實踐2.42.2.1?機(jī)器學(xué)習(xí)的概念機(jī)器學(xué)習(xí)是人工智能領(lǐng)域中研究人類學(xué)習(xí)行為的一個分支，它借鑒了認(rèn)知科學(xué)、生物學(xué)、哲學(xué)、統(tǒng)計學(xué)、計算機(jī)科學(xué)等眾多學(xué)科的觀點，通過歸納、一般化、特殊化、類比等基本方法探索人類的認(rèn)識規(guī)律和學(xué)習(xí)過程，并推出了各種能通過經(jīng)驗自動改進(jìn)的算法，使機(jī)器具備自動學(xué)習(xí)特定知識和技能的能力。01自動化和適應(yīng)性02高效的數(shù)據(jù)處理能力03預(yù)測和決策能力04可擴(kuò)展性05個性化服務(wù)2.2.2?機(jī)器學(xué)習(xí)的分類有監(jiān)督學(xué)習(xí)的基本原理是通過輸入數(shù)據(jù)（特征）與標(biāo)簽（目標(biāo)變量）之間的映射關(guān)系來訓(xùn)練模型，使模型能夠?qū)π螺斎氲臄?shù)據(jù)做出準(zhǔn)確的預(yù)測。有監(jiān)督學(xué)習(xí)首先需要準(zhǔn)備一個標(biāo)注好的數(shù)據(jù)集，這個數(shù)據(jù)集包含輸入數(shù)據(jù)的特征和對應(yīng)的標(biāo)簽，然后根據(jù)問題的類型選擇一個合適的算法模型進(jìn)行訓(xùn)練。訓(xùn)練時，模型將接收輸入特征，通過一系列計算得到預(yù)測結(jié)果，然后利用損失函數(shù)計算預(yù)測結(jié)果與實際標(biāo)簽之間的差異，并根據(jù)損失函數(shù)計算得到的誤差，通過梯度下降等優(yōu)化算法更新模型的參數(shù)。1．有監(jiān)督學(xué)習(xí)有監(jiān)督學(xué)習(xí)的原理2.2.2?機(jī)器學(xué)習(xí)的分類有監(jiān)督學(xué)習(xí)的類型分類：在分類任務(wù)中，有監(jiān)督學(xué)習(xí)的目標(biāo)是將輸入數(shù)據(jù)分到預(yù)定義的類別中。每個類別都有一個唯一的標(biāo)簽。回歸：在回歸任務(wù)中，有監(jiān)督學(xué)習(xí)的目標(biāo)是預(yù)測連續(xù)數(shù)值的輸出。與分類任務(wù)不同，輸出標(biāo)簽在回歸任務(wù)中是連續(xù)的。在有監(jiān)督學(xué)習(xí)中，數(shù)據(jù)集中的訓(xùn)練樣本都有一個輸入特征，以及相應(yīng)的標(biāo)簽（分類任務(wù)）或目標(biāo)值（回歸任務(wù)），因此有監(jiān)督學(xué)習(xí)主要包括分類和回歸兩種類型。2.2.2?機(jī)器學(xué)習(xí)的分類常見的有監(jiān)督學(xué)習(xí)算法支持向量機(jī)(SVM)SVM是一種用于二分類和多分類任務(wù)的強(qiáng)大算法，它通過找到一個最優(yōu)的超平面來將不同類別的數(shù)據(jù)分隔開決策樹一種基于樹結(jié)構(gòu)的分類和回歸算法，它通過在特征上進(jìn)行遞歸的二分決策來進(jìn)行分類或預(yù)測決樸素貝葉斯一種基于貝葉斯定理的簡單概率分類算法，它在分類問題中特別有效，尤其是在處理文本分類（如垃圾郵件檢測）時K近鄰算法(KNN)一種基于實例的算法，它根據(jù)距離度量來對新樣本進(jìn)行分類或回歸預(yù)測2.2.2?機(jī)器學(xué)習(xí)的分類有監(jiān)督學(xué)習(xí)的應(yīng)用場景圖像識別231自然語言處理有監(jiān)督學(xué)習(xí)在圖像識別任務(wù)中非常常見有監(jiān)督學(xué)習(xí)在語音識別領(lǐng)域被廣泛應(yīng)用，如將語音轉(zhuǎn)換為文本、說話者識別等在自然語言處理任務(wù)中，有監(jiān)督學(xué)習(xí)用于文本分類、情感分析、機(jī)器翻譯、命名實體識別等語音識別2.2.2?機(jī)器學(xué)習(xí)的分類無監(jiān)督學(xué)習(xí)的核心思想是通過對數(shù)據(jù)的統(tǒng)計特征、相似度等進(jìn)行分析和挖掘，利用各種方法來捕獲和發(fā)現(xiàn)數(shù)據(jù)隱藏的內(nèi)在結(jié)構(gòu)和模式。2．無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)的類型聚類異常檢測關(guān)聯(lián)規(guī)則挖掘降維將數(shù)據(jù)樣本分成相似的組別或簇的過程將高維數(shù)據(jù)轉(zhuǎn)換為低維表示的過程，同時盡可能地保留數(shù)據(jù)的特征用于發(fā)現(xiàn)數(shù)據(jù)集中項之間的關(guān)聯(lián)和頻繁項集用于識別與大多數(shù)樣本不同的罕見或異常數(shù)據(jù)點2.2.2?機(jī)器學(xué)習(xí)的分類常見的無監(jiān)督學(xué)習(xí)算法K均值聚類K均值聚類是一種常用的聚類算法，它將數(shù)據(jù)樣本分成K個簇，使得每個樣本與所屬簇中心的距離最小Part01主成分分析主成分分析是一種常用的降維算法，它通過線性變換將高維數(shù)據(jù)投影到低維空間以保留最重要的特征Part02關(guān)聯(lián)規(guī)則挖掘算法用于發(fā)現(xiàn)大型數(shù)據(jù)集中頻繁出現(xiàn)的項集和關(guān)聯(lián)規(guī)則，可用于購物車分析、入侵檢測和文本挖掘等領(lǐng)域Part03異常檢測算法如局部離群因子和支持向量數(shù)據(jù)描述等，這些算法通常比簡單的K近鄰算法更復(fù)雜，能夠檢測到更細(xì)微的異常Part042.2.2?機(jī)器學(xué)習(xí)的分類無監(jiān)督學(xué)習(xí)的應(yīng)用場景數(shù)據(jù)挖掘231模式識別無監(jiān)督學(xué)習(xí)讓機(jī)器能夠從海量的未標(biāo)記數(shù)據(jù)中挖掘出潛在的價值和規(guī)律，為企業(yè)和研究機(jī)構(gòu)提供寶貴的決策支持無監(jiān)督學(xué)習(xí)自動發(fā)現(xiàn)數(shù)據(jù)中的代表性特征，減少了人工的工作量，提高了模型的泛化能力無監(jiān)督學(xué)習(xí)讓機(jī)器能夠識別出數(shù)據(jù)中的固有模式和結(jié)構(gòu)，這對于圖像識別、語音識別、自然語言處理等具有重要意義特征學(xué)習(xí)2.2.2?機(jī)器學(xué)習(xí)的分類3．半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)的類型01半監(jiān)督分類02半監(jiān)督回歸03半監(jiān)督聚類04半監(jiān)督異常檢測05生成對抗網(wǎng)絡(luò)中的半監(jiān)督學(xué)習(xí)2.2.2?機(jī)器學(xué)習(xí)的分類常見的半監(jiān)督學(xué)習(xí)算法01自訓(xùn)練02協(xié)作訓(xùn)練03半監(jiān)督支持向量機(jī)05圖半監(jiān)督學(xué)習(xí)04生成式半監(jiān)督學(xué)習(xí)2.2.2?機(jī)器學(xué)習(xí)的分類半監(jiān)督學(xué)習(xí)的應(yīng)用場景自然語言處理機(jī)器人控制數(shù)據(jù)聚類圖像識別和計算機(jī)視覺借助半監(jiān)督學(xué)習(xí)可以利用少量有標(biāo)簽的數(shù)據(jù)和大量無標(biāo)簽的數(shù)據(jù)來提高文本分類、情感分析、命名實體識別等任務(wù)的完成度借助半監(jiān)督學(xué)習(xí)，可以在少量有標(biāo)簽圖像和大量無標(biāo)簽圖像上進(jìn)行訓(xùn)練，以提高圖像分類、目標(biāo)檢測等任務(wù)的準(zhǔn)確性借助半監(jiān)督學(xué)習(xí)，可以將有標(biāo)簽和無標(biāo)簽數(shù)據(jù)結(jié)合起來進(jìn)行聚類，從而提高聚類結(jié)果的準(zhǔn)確性和穩(wěn)定性在機(jī)器人控制領(lǐng)域，借助半監(jiān)督學(xué)習(xí)，可以幫助機(jī)器人在未知環(huán)境中進(jìn)行自主決策和學(xué)習(xí)，從而提高其任務(wù)執(zhí)行能力2.2.2?機(jī)器學(xué)習(xí)的分類4．強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)的類型Part01基于價值的強(qiáng)化學(xué)習(xí)Part02基于策略的強(qiáng)化學(xué)習(xí)Part04模型無關(guān)強(qiáng)化學(xué)習(xí)Part03模型驅(qū)動強(qiáng)化學(xué)習(xí)2.2.2?機(jī)器學(xué)習(xí)的分類常見的強(qiáng)化學(xué)習(xí)算法TRPO（TrustRegionPolicyOptimization，信任區(qū)域策略優(yōu)化）PPO（ProximalPolicyOptimization，近端策略優(yōu)化）SARSA（StateActionRewardStateAction，狀態(tài)行為獎勵狀態(tài)行為）Q學(xué)習(xí)（Q-Learning）2.2.2?機(jī)器學(xué)習(xí)的分類強(qiáng)化學(xué)習(xí)的應(yīng)用場景游戲強(qiáng)化學(xué)習(xí)在游戲玩法中有廣泛應(yīng)用機(jī)器人控制強(qiáng)化學(xué)習(xí)可以幫助機(jī)器人在未知環(huán)境中進(jìn)行自主探索和學(xué)習(xí)，以完成復(fù)雜的任務(wù)自動駕駛強(qiáng)化學(xué)習(xí)可以應(yīng)用于自動駕駛領(lǐng)域，使車輛能夠根據(jù)環(huán)境和交通狀況做出決策，如規(guī)劃路徑、避免障礙物和遵守交通規(guī)則2.2.3?機(jī)器學(xué)習(xí)的常見算法1．樸素貝葉斯算法樸素貝葉斯算法利用概率統(tǒng)計知識進(jìn)行分類，其核心思想是計算每個特征對于分類的條件概率，并基于這些概率來預(yù)測新數(shù)據(jù)的類別。樸素貝葉斯算法所需要估計的參數(shù)很少，對缺失數(shù)據(jù)不太敏感，算法也比較簡單，是應(yīng)用廣泛的分類算法之一。樸素貝葉斯算法假設(shè)特征之間是條件獨(dú)立的，這意味著每個特征對分類結(jié)果的影響相互獨(dú)立，這一假設(shè)簡化了計算過程，也是“樸素”二字的由來。2.2.3?機(jī)器學(xué)習(xí)的常見算法2．決策樹算法決策樹算法是一種利用樹形結(jié)構(gòu)對數(shù)據(jù)進(jìn)行分類的算法，從根節(jié)點開始測試，先到子樹，再到葉子節(jié)點，從根節(jié)點到一個葉子節(jié)點是一條分類的路徑規(guī)劃，每個葉子節(jié)點代表一個判斷類別，如圖2-3所示。其核心思想是從起始點開始，根據(jù)數(shù)據(jù)集中的特征對數(shù)據(jù)進(jìn)行分割，直到滿足停止條件。圖2-3?決策樹2.2.3?機(jī)器學(xué)習(xí)的常見算法目的是選取對數(shù)據(jù)具有分類能力的特征，選擇的準(zhǔn)則通常為信息增益和信息增益比。特征選擇決策樹的生成根據(jù)選擇的特征，遞歸地構(gòu)建決策樹（遞歸即通過重復(fù)將問題分解為同類子問題的方法）。對生成的決策樹進(jìn)行檢驗、校正和修剪，目的是去掉那些影響預(yù)測準(zhǔn)確性的分枝，使決策樹更加簡單，從而提高其泛化能力。決策樹的剪枝決策樹的構(gòu)造過程：2.2.3?機(jī)器學(xué)習(xí)的常見算法3．支持向量機(jī)算法支持向量機(jī)算法是一種經(jīng)典的二分類模型，該算法的核心思想是找到一個最優(yōu)的超平面，將不同類別的樣本數(shù)據(jù)分開，并最大化間隔，從而實現(xiàn)對新數(shù)據(jù)的準(zhǔn)確分類或預(yù)測。圖2-6?分隔糖果例如，桌上放置了若干深色的糖果和淺色的糖果，現(xiàn)在要求用一根棍子將它們按不同顏色分開，并且保證在放置更多深色或淺色的糖果后，這根棍子的兩邊仍保留有較大的間隙，如圖2-6所示。2.2.3?機(jī)器學(xué)習(xí)的常見算法圖2-7?在高維度空間分隔糖果但是，現(xiàn)實中很多情況下糖果都是散亂分布的，這樣就不能用一根棍子將它們按不同顏色分開，這就是二維平面中的線性不可分的情況。此時要想分隔不同顏色的糖果也很簡單，我們只需使用一個核函數(shù)，將二維平面中的糖果投影到三維空間，也許就可以在三維空間中找到一個平面將其分隔開來，如圖2-7所示。2.2.3?機(jī)器學(xué)習(xí)的常見算法圖2-8?支持向量把一個數(shù)據(jù)集正確分開的超平面可能有多個，而那個具有“最大間隔”的超平面就是支持向量機(jī)算法要尋找的最優(yōu)解，這個最優(yōu)解對應(yīng)的兩條虛線所穿過的樣本點，就是支持向量機(jī)中的支持樣本點，稱為“支持向量”。支持向量到超平面的距離被稱為間隔，如圖2-8所示。2.1人工智能的工作流程與三大要素2.2人工智能的核心——機(jī)器學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)2.3課堂實踐2.42.3.1?認(rèn)識人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)一般指生物的大腦神經(jīng)元、突觸等組成的網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)的基本構(gòu)造包括神經(jīng)元（即神經(jīng)細(xì)胞）及其之間的連接，神經(jīng)元是生物神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和機(jī)能單位，具有感受刺激和傳導(dǎo)興奮的功能。每個神經(jīng)元由細(xì)胞本體、樹突、軸突和突觸等部分組成，如圖2-9所示。1．生物神經(jīng)網(wǎng)絡(luò)圖2-9?生物神經(jīng)元的組成2.3.1?認(rèn)識人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)按“層”劃分神經(jīng)元，主要包括輸入層、隱藏層和輸出層，如圖2-10所示，前一層的神經(jīng)元與下一層的神經(jīng)元相互連接，通過這樣的全層連接讓每個神經(jīng)元都能處理信號，并最終從輸出層得到結(jié)果。2．人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成圖2-10?人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)2.3.1?認(rèn)識人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元通常包括3個部分，即輸入部分、處理部分和輸出部分，如圖2-11所示。圖2-11?人工神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元2.3.1?認(rèn)識人工神經(jīng)網(wǎng)絡(luò)輸出部分輸出部分將輸出傳遞到下一組神經(jīng)元，從而實現(xiàn)信息傳遞處理部分處理部分將所有輸入求和，并將它們送入激活函數(shù)中產(chǎn)生輸出輸入部分輸入部分接收來自其他神經(jīng)元的輸入信號，并為每個輸入分配一個權(quán)重2.3.1?認(rèn)識人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)主要有兩種神經(jīng)元，分別是BN（BipolarNeuron）和AN（ArtificialNeuron）。BNBN常用于傳統(tǒng)的傳感器網(wǎng)絡(luò)，其輸出是一個二元值（通常是-1或1），主要用于二分類或多分類任務(wù)01ANAN常用于現(xiàn)代神經(jīng)網(wǎng)絡(luò)，其輸出為一個連續(xù)值，主要用于處理回歸問題和概率估計問題022.3.1?認(rèn)識人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)中的函數(shù)常見的有激活函數(shù)和損失函數(shù)，二者的作用各不相同。人工神經(jīng)網(wǎng)絡(luò)中的函數(shù)激活函數(shù)激活函數(shù)主要用于增強(qiáng)人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力，使得人工神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到更加復(fù)雜的非線性模式。常用的激活函數(shù)有Sigmoid、ReLU、Tanh等。01損失函數(shù)損失函數(shù)的主要作用是衡量模型預(yù)測結(jié)果和真實結(jié)果之間的誤差，并將誤差反饋給神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)更新和優(yōu)化。常用的損失函數(shù)有均方誤差（MeanSquareError，MSE）、交叉熵?fù)p失（CrossEntropyLoss）、KL散度（Kullback-LeiblerDivergence）等。022.3.1?認(rèn)識人工神經(jīng)網(wǎng)絡(luò)首先定義一個損失函數(shù)，損失函數(shù)的定義需要考慮到模型的任務(wù)和應(yīng)用場景。接著需要隨機(jī)初始化參數(shù)，這是非常重要的一步，確保人工神經(jīng)網(wǎng)絡(luò)的參數(shù)是隨機(jī)的，沒有任何先驗偏差。然后通過前向傳播，將輸入樣本傳遞給神經(jīng)網(wǎng)絡(luò)進(jìn)行計算，緊接著進(jìn)行反向傳播，用于更新權(quán)重和偏置的值。在訓(xùn)練過程中，需要反復(fù)執(zhí)行前向傳播和反向傳播，以更新參數(shù)的值，并不斷減小誤差，直到誤差減小到某個閾值或達(dá)到最大訓(xùn)練次數(shù)。3．人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和更新2.3.2?深度學(xué)習(xí)的概念深度學(xué)習(xí)模型通常包含數(shù)百萬甚至數(shù)十億個參數(shù)，能夠自動學(xué)習(xí)數(shù)據(jù)的有效表示，這些表示有助于解決分類、檢測等問題。與機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)具有自身獨(dú)有的特點。對比維度深度學(xué)習(xí)機(jī)器學(xué)習(xí)模型結(jié)構(gòu)與算法采用復(fù)雜的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包含多個隱藏

層和大量的神經(jīng)元，通過反向傳播算法和梯度下降等優(yōu)化算法進(jìn)行訓(xùn)練通常使用較簡單的模型結(jié)構(gòu)和算，如線性回歸、決策樹算法、支持向量機(jī)算法等數(shù)據(jù)需求需要大量的數(shù)據(jù)來充分發(fā)揮其優(yōu)勢，尤其是大

規(guī)模復(fù)雜數(shù)據(jù)的處理，但當(dāng)數(shù)據(jù)量較小時，可能無法很好地發(fā)揮其潛力對數(shù)據(jù)量的要求相對較少，可以使用較少的數(shù)據(jù)進(jìn)行學(xué)習(xí)和泛化特征工程具有自動特征提取的能力，能夠從原始數(shù)據(jù)中

自動學(xué)習(xí)到更高級、更具代表性的特征，減少了人工干預(yù)的需求往往需要人工輔助，包括特征選擇、特征提取和特征轉(zhuǎn)換等執(zhí)行時間由于算法中參數(shù)較多，訓(xùn)練時間通常較長，可能需要數(shù)小時甚至數(shù)天的時間訓(xùn)練時間相對較短，從幾秒鐘到幾個小時不等硬件依賴性通常需要高端的機(jī)器，特別是

GPU

來加速計算，因為深度學(xué)習(xí)算法中的矩陣乘法等操作需要大量的計算資源可以在低端機(jī)器上運(yùn)行，對硬件配置沒有很高的要求2.3.3?深度學(xué)習(xí)的常見算法1．深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks，DNN）也叫多層感知機(jī)，是深度學(xué)習(xí)算法的基石。DNN是一種包含多個隱藏層的神經(jīng)網(wǎng)絡(luò)，它利用多層的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征的自動提取和學(xué)習(xí)，每一層由多個神經(jīng)元組成，神經(jīng)元之間通過權(quán)重連接，上一層都將其輸入傳遞給下一層，并使用非線性激活函數(shù)來引入學(xué)習(xí)到的非線性特性，如圖2-12所示。圖2-12?DNN的結(jié)構(gòu)原理2.3.3?深度學(xué)習(xí)的常見算法DNN的核心在于前向傳播和反向傳播這兩個關(guān)鍵環(huán)節(jié)。前向傳播從輸入層開始，逐層計算每個神經(jīng)元的輸出直至輸出層。每個神經(jīng)元的輸出都依賴于前一層的輸出和該神經(jīng)元的權(quán)重。通過非線性激活函數(shù)（如Sigmoid、ReLU等），將原始數(shù)據(jù)逐步轉(zhuǎn)化為更抽象和復(fù)雜的特征表示。01反向傳播通過計算預(yù)測值與實際值之間的誤差，反向更新每層神經(jīng)元的權(quán)重，以減小誤差。反向傳播基于鏈?zhǔn)椒▌t（指計算復(fù)合函數(shù)導(dǎo)數(shù)時，把整個過程的每一步導(dǎo)數(shù)像鏈條一樣連乘起來）計算網(wǎng)絡(luò)中每個參數(shù)對于總損失函數(shù)的梯度，并通過梯度下降算法（如SGD、Adam等）更新權(quán)重。022.3.3?深度學(xué)習(xí)的常見算法2．卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)由多個層次的神經(jīng)網(wǎng)絡(luò)組成，每一層都對輸入數(shù)據(jù)進(jìn)行特定的處理，最終輸出一個分類結(jié)果或其他目標(biāo)。01輸入層02卷積層03激活層04池化層05全連接層2.3.3?深度學(xué)習(xí)的常見算法3．循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，能夠處理輸入信息的序列，并在序列的不同時間點共享參數(shù)。循環(huán)神經(jīng)網(wǎng)絡(luò)的核心是隱藏狀態(tài)，它包含過去輸入的信息，被用來影響當(dāng)前和未來的計算。一個簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)如圖2-14所示，它由一個輸入層、一個隱藏層（也稱為循環(huán)層)和一個輸出層組成。圖2-14?一個簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)2.3.3?深度學(xué)習(xí)的常見算法4．生成對抗網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)由生成器和判別器兩部分組成。生成器的任務(wù)是生成盡可能逼真的數(shù)據(jù)樣本，而判別器的任務(wù)是區(qū)分這些生成的樣本與真實樣本，兩者通過對抗的方式相互訓(xùn)練，以提升彼此的性能。圖2-15所示為生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)原理，生成器和判別器都可以用人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)。圖2-15?生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)原理2.1人工智能的工作流程與三大要素2.2人工智能的核心——機(jī)器學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)2.3課堂實踐2.42.4.1?使用機(jī)器學(xué)習(xí)算法設(shè)計垃圾郵件過濾器1．實踐目標(biāo)機(jī)器學(xué)習(xí)是人工智能的重要組成部分，它利用各種先進(jìn)的算法讓機(jī)器具備學(xué)習(xí)能力，推動了人工智能技術(shù)的發(fā)展。本次課堂實踐利用樸素貝葉斯算法構(gòu)建一個簡單的垃圾郵件過濾器，以進(jìn)一步了解機(jī)器學(xué)習(xí)算法的原理。2.4.1?使用機(jī)器學(xué)習(xí)算法設(shè)計垃圾郵件過濾器準(zhǔn)備訓(xùn)練數(shù)據(jù)。假設(shè)我們有幾封郵件和對應(yīng)的標(biāo)簽（0表示正常郵件，1表示