深度學(xué)習(xí) 課件 第1章 引言

第一章引言深度學(xué)習(xí)深度學(xué)習(xí)的起源與發(fā)展12深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系3深度學(xué)習(xí)的基本概念與典型算法45目錄Contents本章人物深度學(xué)習(xí)的主要應(yīng)用概述26中英文術(shù)語對照深度學(xué)習(xí)的起源與發(fā)展1“深度學(xué)習(xí)（DeepLearning）”的概念是2006年由多倫多大學(xué)（UniversityofToronto）的GeoffreyHinton教授與他的同事們提出的，他也因此被稱為“深度學(xué)習(xí)之父”。但是，由于深度學(xué)習(xí)與人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）息息相關(guān)，它的起源可以追溯到更早的時間。4深度學(xué)習(xí)的起源HintonGE,OsinderoSandTehY.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18:1527-1554.HintonGE,SalakhutdinovRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science,2006,313(5786):504-507.5深度學(xué)習(xí)的起源深度學(xué)習(xí)的起源6第一階段（1943-1969）1943年：WarrenMcCulloch和WalterPitts提出了M-P神經(jīng)元模型，模擬了人類神經(jīng)元的結(jié)構(gòu)和工作原理。1949年：生理心理學(xué)家DonaldOldingHebb提出了Hebb學(xué)習(xí)規(guī)則，奠定了人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的基礎(chǔ)。1957年：FrankRosenblatt提出了由兩層神經(jīng)元組成的感知機(jī)（Perceptron）。1969年：MarvinMinsky和SeymourPapert指出感知器無法解決XOR運(yùn)算這樣的線性不可分問題，導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)的研究陷入低谷。深度學(xué)習(xí)的起源7第二階段（1980-1998）1980年：KunihikoFukushima(福島邦彥)提出了模擬生物視覺傳導(dǎo)通路的神經(jīng)認(rèn)知機(jī)，被認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò)的原始模型。1982年：JohnHopfield提出了Hopfield神經(jīng)網(wǎng)絡(luò)，有連續(xù)型和離散型兩種類型，分別用于優(yōu)化計算和聯(lián)想記憶。1986年：DavidRumelhart、GeoffreyHinton和RonaldWilliams重新獨(dú)立提出了誤差反向傳播算法（ErrorBackPropagation,BP）（1974年P(guān)aulWerbos首次提出了BackPropagation算法），并指出多層感知機(jī)可以解決異或操作（XOR）這樣的線性不可分問題。1986年與1990年，分別出現(xiàn)了JordanNetwork與ElmanNetwork兩種循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，RNN）。深度學(xué)習(xí)的起源8第二階段（1980-1998）1995年：CorinnaCortes和VladimirVapnik提出了支持向量機(jī)（SupportVectorMachine，SVM），除了其簡單的訓(xùn)練方法與優(yōu)越的性能超過了人工神經(jīng)網(wǎng)絡(luò)之外，其良好的可解釋性使得人工神經(jīng)網(wǎng)絡(luò)研究再次進(jìn)入低谷期。1997年：JurgenSchmidhuber和SeppHochreiter提出了長短期記憶網(wǎng)絡(luò)（Long-ShortTermMemory，LSTM），極大地提高了循環(huán)神經(jīng)網(wǎng)絡(luò)的效率和實用性。1998年：YannLeCun提出了稱作LeNet-5的卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN），率先將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識別任務(wù)，但在當(dāng)時也沒有引起大的轟動。深度學(xué)習(xí)的起源9第三階段（2006-）2006年：GeoffreyHinton和他的同事們提出了一種稱作深度信念網(wǎng)絡(luò)（DeepBeliefNetworks，DBN）的多層網(wǎng)絡(luò)并進(jìn)行了有效的訓(xùn)練，同時提出了一種通過多層神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)降維的方法，正式提出了深度學(xué)習(xí)的概念。深度學(xué)習(xí)在2012年之后在業(yè)界引起了巨大的反響。深度學(xué)習(xí)的發(fā)展10深度學(xué)習(xí)的發(fā)展112012年：FrankSeide等人使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行語音識別，相比于傳統(tǒng)的GMM和HMM，識別錯誤率下降了20%-30%，取得了突破性的進(jìn)展。2012年：AlexKrizhevsky等人提出了AlexNet，它引入了ReLU激活函數(shù)，并使用GPU進(jìn)行加速。在著名的ImageNet圖像識別大賽中，AlexNet使得圖像識別錯誤率從26%左右下降到了15%左右，并奪得2012年的冠軍。在隨后幾年的ImageNet圖像識別大賽中，又出現(xiàn)了一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，如VGGNet、GoogleNet、ResNet和SENet等，圖像識別錯誤率繼續(xù)下降。2017年：SENet的圖像識別錯誤率已經(jīng)下降到了2.25%，由于錯誤率已經(jīng)到了極限，這也導(dǎo)致ImageNet圖像識別大賽從2018年開始不再舉辦。深度學(xué)習(xí)的發(fā)展122014年起：R-CNN、FastR-CNN、FasterR-CNN等一系列目標(biāo)檢測模型的提出，極大地提升了目標(biāo)檢測的精度，但是它們需要兩個階段才能完成，模型訓(xùn)練效率較低。2016年：YOLO目標(biāo)檢測模型被提出，由于它是一個端到端的模型，大大提高了模型訓(xùn)練與推理效率，但模型的精度不如R-CNN系列高，之后YOLO的后續(xù)版本陸續(xù)被推出，目前已經(jīng)到了第八版。2014年：生成對抗網(wǎng)絡(luò)由當(dāng)時還在蒙特利爾大學(xué)讀博士的IanJ.Goodfellow提出，由于它無需標(biāo)注大量的數(shù)據(jù)即可進(jìn)行訓(xùn)練，在學(xué)術(shù)界迅速掀起了研究熱潮。深度學(xué)習(xí)的發(fā)展13在自然語言處理領(lǐng)域，LSTM、門限循環(huán)單元（GatedRecurrentUnit，GRU）等循環(huán)神經(jīng)網(wǎng)絡(luò)在語言模型、機(jī)器翻譯等任務(wù)上也取得了很大的進(jìn)展。特別是隨著Transformer的出現(xiàn)，使得BERT、GPT等預(yù)訓(xùn)練大模型進(jìn)入人們的視野，這些大模型在自然語言處理領(lǐng)域多個任務(wù)上都超越了已有方法。2022年以來：ChatGPT、GPT4.0的相繼問世更是使得大型通用語言模型達(dá)到了前所未有的高度，被譽(yù)為信息技術(shù)領(lǐng)域里程碑式的突破。2023年：百度公司在國內(nèi)也率先推出了大型通用語言模型“文心一言”，之后清華大學(xué)、復(fù)旦大學(xué)、華為公司、阿里公司、科大訊飛也都發(fā)布了自己的大模型，開啟了大型中文語言模型的新時代。深度學(xué)習(xí)的發(fā)展14當(dāng)前，深度學(xué)習(xí)仍然是人工智能領(lǐng)域關(guān)注度最高的主題之一，研究如火如荼，應(yīng)用也是多點(diǎn)開花。在研究方面：基于AI的內(nèi)容生成、多模態(tài)數(shù)據(jù)分析、深度強(qiáng)化學(xué)習(xí)等工作正在火熱進(jìn)行。在應(yīng)用方面：深度學(xué)習(xí)已經(jīng)在安防、醫(yī)療、金融、智能制造、無人駕駛等多個領(lǐng)域取得了顯著的成果。深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系2深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系FromNvidia16深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、AI的關(guān)系17人工智能人工智能定義“人工智能”的概念最早在1956年的美國達(dá)特茅斯會議（DartmouthConference）上提出，當(dāng)時會議的主題是“用機(jī)器來模仿人類學(xué)習(xí)以及其它方面的智能”。因此，1956年被認(rèn)為是人工智能的元年。一般認(rèn)為，人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新興學(xué)科。18人工智能已實現(xiàn)基本實現(xiàn)未來熱點(diǎn)19人工智能分類人工智能人工智能技術(shù)搜索理論、知識表示與推理方法、機(jī)器學(xué)習(xí)算法、感知、決策與控制技術(shù)等。參考書史忠植.高級人工智能.北京:科學(xué)出版社.[美]史蒂芬·盧奇（StephenLucci）,丹尼·科佩克（DannyKopec）著,林賜譯.人工智能（第2版）.北京:人民郵電出版社,2018.20機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)定義讓計算機(jī)具有像人一樣的學(xué)習(xí)和思考能力的技術(shù)的總稱。具體來說是從已知數(shù)據(jù)中獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進(jìn)行預(yù)測的技術(shù)。一個簡單的例子：利用機(jī)器學(xué)習(xí)算法對往年的天氣預(yù)報數(shù)據(jù)進(jìn)行學(xué)習(xí)，就能夠預(yù)測未來的天氣預(yù)報數(shù)據(jù)。21機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)分類有監(jiān)督學(xué)習(xí)（跟學(xué)師評）：有老師（環(huán)境）的情況下，學(xué)生（計算機(jī)）從老師（環(huán)境）那里獲得對錯指示、最終答案的學(xué)習(xí)方法。包含線性回歸、多項式回歸、決策樹和隨機(jī)森林等回歸算法，以及KNN、邏輯回歸、貝葉斯和支持向量機(jī)等分類算法。無監(jiān)督學(xué)習(xí)（自學(xué)標(biāo)評）：沒有老師（環(huán)境）的情況下，學(xué)生（計算機(jī)）自學(xué)的過程，一般使用一些既定標(biāo)準(zhǔn)進(jìn)行評價，或無評價。包含K-Means聚類、主成分分析、關(guān)聯(lián)分析和密度估計等算法。弱監(jiān)督學(xué)習(xí)：僅有少量環(huán)境提示（教師反饋）或者少量數(shù)據(jù)（試題）標(biāo)簽（答案）的情況下，機(jī)器（學(xué)生）不斷進(jìn)行學(xué)習(xí)的方法。包含強(qiáng)化學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和多示例學(xué)習(xí)等算法。2223有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)24強(qiáng)化學(xué)習(xí)25機(jī)器學(xué)習(xí)常見算法26機(jī)器學(xué)習(xí)參考書周志華.機(jī)器學(xué)習(xí).北京:清華大學(xué)出版社,2016.李航.統(tǒng)計學(xué)習(xí)方法（第2版）.北京:清華大學(xué)出版社,2019.深度學(xué)習(xí)的基本概念與典型算法3為什么需要深度學(xué)習(xí)？28深度學(xué)習(xí)基本概念29深度學(xué)習(xí)定義深度學(xué)習(xí)是指通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來學(xué)習(xí)數(shù)據(jù)的特征，以便于進(jìn)行數(shù)據(jù)分類、回歸與生成。深度學(xué)習(xí)與淺層學(xué)習(xí)相比，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)更多（一般大于或等于4層），通過多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以學(xué)習(xí)得到更豐富的數(shù)據(jù)特征。深度學(xué)習(xí)基本概念30淺層前饋神經(jīng)網(wǎng)絡(luò)和深度前饋神經(jīng)網(wǎng)絡(luò)典型深度學(xué)習(xí)算法31典型深度學(xué)習(xí)算法32有監(jiān)督學(xué)習(xí)的淺層學(xué)習(xí)算法：決策樹、支持向量機(jī)、感知機(jī)和Boosting等。無監(jiān)督學(xué)習(xí)的淺層學(xué)習(xí)算法：自編碼器、受限玻爾茲曼機(jī)、高斯混合模型和稀疏自編碼器等有監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)算法：深度前饋神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer、膠囊網(wǎng)絡(luò)和深度森林等。無監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)算法：深度自編碼器、生成對抗網(wǎng)絡(luò)、深度玻爾茲曼機(jī)和深度信念網(wǎng)絡(luò)等。典型深度學(xué)習(xí)算法33深度前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)典型深度學(xué)習(xí)算法34循環(huán)神經(jīng)網(wǎng)絡(luò)Transformer典型深度學(xué)習(xí)算法35生成對抗網(wǎng)絡(luò)深度信念網(wǎng)絡(luò)與深度玻爾茲曼機(jī)典型深度學(xué)習(xí)算法36深度自編碼器深度學(xué)習(xí)的主要應(yīng)用概述4深度學(xué)習(xí)的主要應(yīng)用38計算機(jī)視覺領(lǐng)域主要應(yīng)用（基礎(chǔ)任務(wù)）圖像分類：整幅圖像的分類或識別。目標(biāo)檢測：檢測圖像中物體的位置進(jìn)而識別物體。圖像分割：對圖像中的特定物體按邊緣進(jìn)行分割，并識別物體類別或個體。圖像回歸：預(yù)測圖像中物體或者物體組成部分的坐標(biāo)。細(xì)化深度學(xué)習(xí)的主要應(yīng)用39圖像分類圖像分割目標(biāo)檢測圖像回歸深度學(xué)習(xí)的主要應(yīng)用40計算機(jī)視覺領(lǐng)域主要應(yīng)用（高級任務(wù)）人臉識別：首先通過目標(biāo)檢測提取人的正臉，然后通過人臉識別人員身份。行人重識別：檢測視頻序列中的行人，并識別特定人員的身份。目標(biāo)跟蹤：在連續(xù)的視頻幀中定位某一行人或者其他運(yùn)動目標(biāo)。動作識別：識別視頻中人體的動作/行為。產(chǎn)品缺陷檢測：檢測工業(yè)產(chǎn)品存在的缺陷。深度學(xué)習(xí)的主要應(yīng)用41語音識別領(lǐng)域主要應(yīng)用語音識別：將人類說話的語音轉(zhuǎn)換成文字。聲紋識別：根據(jù)說話人的聲波特性進(jìn)行身份識別，又稱為說話人識別。語音合成：將文本轉(zhuǎn)換為語音。深度學(xué)習(xí)的主要應(yīng)用42自然語言處理領(lǐng)域主要應(yīng)用（基礎(chǔ)任務(wù)）詞法分析：以詞為單位進(jìn)行分析，包括詞性標(biāo)注、拼寫校正等。句法分析：以句子為單位進(jìn)行分析，主要包括句法結(jié)構(gòu)分析和依存句法分析等。語義分析：分析自然語言的深層含義，包括詞匯級語義分析、句子級語義分析和篇章級語義分析。信息抽?。簭淖匀徽Z言中抽取出結(jié)構(gòu)化信息，包括實體抽取、事件抽取等。語言模型：根據(jù)之前的單詞預(yù)測下一個單詞。深度學(xué)習(xí)的主要應(yīng)用43自然語言處理領(lǐng)域主要應(yīng)用（高級任務(wù)）情感分析：分析文本體現(xiàn)的情感，可包含正負(fù)向、正負(fù)中或多態(tài)度等類型。神經(jīng)機(jī)器翻譯：基于神經(jīng)網(wǎng)絡(luò)語言模型的多語種互譯。神經(jīng)自動摘要：根據(jù)單文檔或者多文檔自動生成文檔摘要。機(jī)器閱讀理解：通過閱讀文本回答問題、完成選擇題或完型填空。自動問答：用戶給出問題，機(jī)器可以進(jìn)行回答，也稱單輪對話。人機(jī)對話：通過訓(xùn)練大量語料，支持人與機(jī)器之間的自由對話，通常指的是多輪對話。深度學(xué)習(xí)主要應(yīng)用44多模態(tài)處理領(lǐng)域的應(yīng)用圖像描述：機(jī)器可以根據(jù)圖像給出描述圖像的句子，也稱看圖說話?？梢晢柎穑簷C(jī)器可以回答特定圖像或視頻相關(guān)的問題。圖像生成：機(jī)器可以根據(jù)文本描述生成相應(yīng)的圖像。視頻生成：機(jī)器可以根據(jù)文字描述自動生成相應(yīng)的視頻。虛擬主播：自動播報新聞的虛擬人物。本章人物5本章人物46GeoffreyHinton多倫多大學(xué)杰出教授，英國皇家科學(xué)院院士，美國國家工程院外籍院士，美國藝術(shù)與科學(xué)院外籍院士，2018圖靈獎獲得者。在BP算法、玻爾茲曼機(jī)、時間延遲神經(jīng)網(wǎng)絡(luò)、變分學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域做出杰出文獻(xiàn)，被譽(yù)為“深度學(xué)習(xí)之父”。個人主頁：/~hinton/。中英文術(shù)語對照6中英文術(shù)語對照48深度學(xué)習(xí)：DeepLearning人工神經(jīng)網(wǎng)絡(luò)：ArtificialNeuralNetworks，ANNM-P神經(jīng)元模型：McCulloch-PittsNeuronModel感知機(jī)：Perceptron神經(jīng)認(rèn)知機(jī)：Neocognitron反向傳播算法：BackPropagation，BP循環(huán)神經(jīng)網(wǎng)絡(luò)：RecurrentNeuralNetworks，RNN支持向量機(jī)：SupportVectorMachine，SVM長短期記憶網(wǎng)絡(luò)：Long-ShortTermMemory，LSTM中英文術(shù)語對照49卷積神經(jīng)網(wǎng)絡(luò)：ConvolutionalNeuralNetworks，CNN深度信念網(wǎng)絡(luò)：DeepBeliefNetworks，DBN高斯混合模型：GaussianMixtureModel，GMM隱馬爾可夫模型：HiddenMarkovModel，HMM生成對抗網(wǎng)絡(luò)：GenerativeAdversarialNetworks，GAN門限循環(huán)單元：GatedRecurrentUnit，GRU基于Transformer的雙向編碼器表示模型：BidirectionalEncoderR