深度學(xué)習(xí)基礎(chǔ)與實(shí)踐 課件 單元一 從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)

人工智能和機(jī)器學(xué)習(xí)的關(guān)系時(shí)間：1956年地點(diǎn)：達(dá)特茅斯學(xué)院會議：用機(jī)器來模仿人類學(xué)習(xí)以及其他方面的智能“人工智能”一詞的誕生，并作為一個(gè)獨(dú)立的科研領(lǐng)域。人工智能（Artificialintelligence）是什么？理性思考的系統(tǒng)像人一樣思考的系統(tǒng)理性行動的系統(tǒng)像人一樣行動的系統(tǒng)——拉塞爾和諾文的《人工智能：一種現(xiàn)代方法》（第2版）計(jì)算機(jī)科學(xué)的一個(gè)分支，利用計(jì)算機(jī)模擬人類智力活動?！冬F(xiàn)代漢語詞典》定義人工智能模仿人或其他生命體思考或行為的技術(shù)人工智能讓計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)而無需使用明確編程的人工智能技術(shù)機(jī)器學(xué)習(xí)人工智能機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)（MachineLearning）是什么？在沒有明確編程下，讓計(jì)算機(jī)具有學(xué)習(xí)能力的研究領(lǐng)域?！獧C(jī)器學(xué)習(xí)之父亞瑟·塞繆爾1997年，IBM開發(fā)的深藍(lán)（DeepBlue）象棋程序擊敗了世界冠軍加里?卡斯帕羅夫（GarryKasparov）機(jī)器學(xué)習(xí)可以解決什么問題？給定數(shù)據(jù)的預(yù)測問題01數(shù)據(jù)清洗/特征選擇02確定算法模型/參數(shù)優(yōu)化03結(jié)果預(yù)測04機(jī)器學(xué)習(xí)不能解決什么問題？大數(shù)據(jù)存儲/并行計(jì)算01做一個(gè)機(jī)器人02監(jiān)督學(xué)習(xí)的流程框架監(jiān)督學(xué)習(xí)沒有正確答案的樣本無法學(xué)習(xí)1.目標(biāo)明確2.需要帶標(biāo)簽的訓(xùn)練數(shù)據(jù)3.效果容易評估分類案例：身高1.65m，體重100kg的男人肥胖嗎？根據(jù)腫瘤的體積、患者的年齡來判斷良性或惡性？回歸案例：如何預(yù)測上海浦東的房價(jià)？未來的股票市場走向？無監(jiān)督學(xué)習(xí)即使沒有正確答案樣本也可以區(qū)分1.目標(biāo)不明確2.不需要帶標(biāo)簽的數(shù)據(jù)3.效果很難評估借助無監(jiān)督學(xué)習(xí)細(xì)分用戶場景:1.機(jī)器有一個(gè)明確的小鳥角色——代理2.需要控制小鳥飛的更遠(yuǎn)——目標(biāo)3.整個(gè)游戲過程中需要躲避各種水管——環(huán)境4.躲避水管的方法是讓小鳥用力飛一下——行動5.飛的越遠(yuǎn)，就會獲得越多的積分——獎勵(lì)強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)不需要大量“數(shù)據(jù)喂養(yǎng)”，通過自己不停嘗試學(xué)會某些技能模式識別=機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘=機(jī)器學(xué)習(xí)+數(shù)據(jù)庫統(tǒng)計(jì)學(xué)習(xí)近似等于機(jī)器學(xué)習(xí)計(jì)算機(jī)視覺=圖像處理+機(jī)器學(xué)習(xí)語音識別=語音處理+機(jī)器學(xué)習(xí)模仿人或其他生命體思考或行為的技術(shù)人工智能讓計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)而無需使用明確編程的人工智能技術(shù)機(jī)器學(xué)習(xí)人工智能機(jī)器學(xué)習(xí)人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系模仿人或其他生命體思考或行為的技術(shù)人工智能讓計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)而無需使用明確編程的人工智能技術(shù)機(jī)器學(xué)習(xí)從大腦神經(jīng)元網(wǎng)絡(luò)得到啟發(fā)而獲得發(fā)展的機(jī)器學(xué)習(xí)技術(shù)深度學(xué)習(xí)人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)深度學(xué)習(xí)（DeepLearning）是什么？杰弗里·辛頓深度學(xué)習(xí)創(chuàng)始人、圖靈獎得主英國計(jì)算機(jī)學(xué)家和心理學(xué)家

深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，讓機(jī)器像人一樣具有分析學(xué)習(xí)能力，能夠識別文字、圖像和聲音等數(shù)據(jù)。AlphaGo4:1人類2016年3月與韓國圍棋界18次世界冠軍獲得者李世石進(jìn)行了5場比賽，并以4勝1負(fù)的成績贏得比賽。延時(shí)符AlphaGoZero100:0戰(zhàn)勝AlphaGo深度學(xué)習(xí)可以解決什么問題？應(yīng)該提取哪些特征？哪些特征的可表示性更強(qiáng)？深度學(xué)習(xí)=表示學(xué)習(xí)+淺層學(xué)習(xí)layer1layer2layer3深度學(xué)習(xí)的一般步驟321越大的數(shù)據(jù)量，越能夠提供更多的特征信息大數(shù)據(jù)模型訓(xùn)練提供強(qiáng)有力的工具GPU一系列優(yōu)秀的深度學(xué)習(xí)模型模型深度學(xué)習(xí)的核心因素人工智能神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)機(jī)器學(xué)習(xí)神經(jīng)元和感知器深度學(xué)習(xí)模型復(fù)雜度神經(jīng)元（Neuron）是什么？神經(jīng)元結(jié)構(gòu)人工神經(jīng)元生物神經(jīng)元Outputofneuron=Y=f(w1·x1+w2·x2+b)輸入權(quán)重綜合處理輸出感知器（Perceptron）是什么？美國科學(xué)家弗蘭克·羅森布拉特與感知機(jī)inputlayeroutputlayer單層感知機(jī)模型Y=X*W+b其中(X=[x1,x2,x3,...],W=[w1,w2,w3,...])Y=((X1*W1+b1)*W2+b2)*W3+b3...，其中(X=[x1,x2,x3,...],W=[w1,w2,w3,...])多層感知機(jī)模型inputlayeroutputlayer單層感知機(jī)模型Y=X*W+b其中(X=[x1,x2,x3,...],W=[w1,w2,w3,...])神經(jīng)網(wǎng)絡(luò)本質(zhì)是什么？神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的連接前饋神經(jīng)網(wǎng)絡(luò)（Feed-forwardNeuralNetwork，即FNN）前饋神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetworks，即RNN）循環(huán)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)y0y1y2y0AAAAx0x1x2xTxinputlayerhiddenlayeroutputlayer上一個(gè)隱含層成為下一個(gè)隱含層的輸入如果Tx增加通過Tx+1的方式解決深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks，即DNN）包含多個(gè)隱藏層的多層感知器三層的深度神經(jīng)網(wǎng)絡(luò)的線性關(guān)系系數(shù)w的定義

layer1layer2layer3三層的深度神經(jīng)網(wǎng)絡(luò)的偏倚b的定義

layer1layer2layer3卷積神級網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，即CNN）卷積神經(jīng)網(wǎng)絡(luò)的一般性圖像識別圖像的卷積000110111011101010111001110101010100011011101110101011100111010101014342524244圖像濾波器特征圖池化層的維壓縮2550000255000025500002552550025512800128最大池化輸入功能圖平均池化維壓縮維壓縮卷積神經(jīng)網(wǎng)絡(luò)的一般性圖像識別生成式對抗網(wǎng)絡(luò)(GenerativeAdversarialNetwork，即GAN)生成式對抗網(wǎng)絡(luò)GAN的基本結(jié)構(gòu)值Z生成器圖像樣本正確答案錯(cuò)誤答案判別器輸入輸出輸出輸出12輸入值輸出值利用輸出值進(jìn)行學(xué)習(xí)深度學(xué)習(xí)的應(yīng)用領(lǐng)域百度深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室主任王海峰計(jì)算機(jī)視覺Computervision人頭檢測活體檢測人臉識別人體檢測/關(guān)鍵點(diǎn)檢測行人追蹤人體屬性人體識別相關(guān)技術(shù)人臉識別相關(guān)技術(shù)車輛識別相關(guān)技車輛檢測/跟蹤車牌識別車位占空識別其它場景定制化條碼識別生豬智能化養(yǎng)殖皮膚病識別自然語言理解Naturallanguageunderstanding語音識別AutomaticSpeechRecognition數(shù)據(jù)分析DataAnalysis圖片藝術(shù)風(fēng)格轉(zhuǎn)移讀唇語翻譯傳統(tǒng)翻譯采用人工查詞的方式，不但耗時(shí)長，而且錯(cuò)誤率高。圖像識別技術(shù)(OCR)的出現(xiàn)大大提升了翻譯的效率和準(zhǔn)確度，用戶通過簡單的拍照、截圖或劃線就能得到準(zhǔn)確的翻譯結(jié)果。體育賽事計(jì)算機(jī)視覺還有助于比賽和策略分析、球員表現(xiàn)和評級，以及跟蹤體育節(jié)目中品牌贊助的可見性。農(nóng)業(yè)半自動聯(lián)合收割機(jī)可以利用人工智能和計(jì)算機(jī)視覺來分析糧食品質(zhì)，并找出農(nóng)業(yè)機(jī)械穿過作物的最佳路徑。另外也可用來識別雜草和作物，有效減少除草劑的使用量。制造業(yè)計(jì)算機(jī)視覺也可以幫助制造商更安全、更智能、更有效地運(yùn)行，比如預(yù)測性維護(hù)設(shè)備故障，對包裝和產(chǎn)品質(zhì)量進(jìn)行監(jiān)控，并通過計(jì)算機(jī)視覺減少不合格產(chǎn)品。交通自動駕駛汽車需要計(jì)算機(jī)視覺。汽車制造商已經(jīng)通過攝像頭、激光雷達(dá)、雷達(dá)和超聲波傳感器從環(huán)境中獲取圖像，研發(fā)自動駕駛汽車來探測目標(biāo)、車道標(biāo)志和交通信號，從而安全駕駛。安防中國在使用人臉識別技術(shù)方面無疑處于領(lǐng)先地位，這項(xiàng)技術(shù)被廣泛應(yīng)用于警察工作、支付識別、機(jī)場安檢，甚至在北京天壇公園分發(fā)