《人工智能技術(shù)基礎(chǔ)》課件（共九章-下）

人工智能技術(shù)基礎(chǔ)第五章深度學(xué)習(xí)01人工智能基本概念02深度學(xué)習(xí)概述01機(jī)器學(xué)習(xí)回顧機(jī)器學(xué)習(xí)內(nèi)容回顧什么是機(jī)器學(xué)習(xí)？（一句話概括）機(jī)器學(xué)習(xí)分為哪些類別？機(jī)器學(xué)習(xí)算法的求解一般過(guò)程？數(shù)據(jù)挖掘?qū)崙?zhàn)的通用流程？Python中使用到的工具包？1.機(jī)器學(xué)習(xí)是什么？一句話的解釋：機(jī)器學(xué)習(xí)（MachineLearning，ML）是指從有限的觀測(cè)數(shù)據(jù)（訓(xùn)練數(shù)據(jù)）中學(xué)習(xí)（或“猜測(cè)”）出具有一般性的規(guī)律（Function），并利用這些規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的方法。“5-5”(下一步走棋位置)PlayingGo：“貓”圖像分類：“你好，吃了嗎？”語(yǔ)音識(shí)別：2.機(jī)器學(xué)習(xí)的類別回歸:輸出是一個(gè)實(shí)數(shù)預(yù)測(cè)PM2.5的數(shù)值f明日PM2.5數(shù)值

今日PM2.5溫度O3濃度垃圾郵件過(guò)濾是/否f分類:

輸出屬于的類別PlayingGO(19x19classes)2.機(jī)器學(xué)習(xí)的分類創(chuàng)造有結(jié)構(gòu)化的物件(圖片，文本，音樂(lè)等)結(jié)構(gòu)化學(xué)習(xí)回歸:輸出是一個(gè)實(shí)數(shù)分類:

輸出屬于的類3.機(jī)器學(xué)習(xí)算法的求解一般過(guò)程4、預(yù)測(cè)數(shù)據(jù)計(jì)算Loss查看效果

訓(xùn)練過(guò)程Training測(cè)試過(guò)程Testing4.數(shù)據(jù)挖掘?qū)崙?zhàn)的通用流程？業(yè)務(wù)理解：確定要做什么任務(wù)數(shù)據(jù)采集：收集數(shù)據(jù)數(shù)據(jù)清洗：去除異常值，補(bǔ)充空缺值……特征工程：特征選擇，特征轉(zhuǎn)換，降維……數(shù)據(jù)建模：拆分?jǐn)?shù)據(jù)集，建模，調(diào)參……驗(yàn)證調(diào)優(yōu)：交叉驗(yàn)證，f1-score……模型融合：多模型ensemble……模型部署：投入生產(chǎn)數(shù)據(jù)預(yù)處理5.Python中使用到的工具包？業(yè)務(wù)理解數(shù)據(jù)采集：爬蟲(chóng)Scrapy，json解析BS4數(shù)據(jù)預(yù)處理：Pandas，Numpy，Matplotlib/Seaborn數(shù)據(jù)建模、調(diào)優(yōu)：Sklearn模型部署第五章深度學(xué)習(xí)02深度學(xué)習(xí)概述01機(jī)器學(xué)習(xí)回顧WhatisDeepLearning？+什么是深度學(xué)習(xí)概念源于人工神經(jīng)網(wǎng)絡(luò)的研究由GeoffreyHinton等人于2006年提出通過(guò)組合底層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示深度學(xué)習(xí)模型可以自動(dòng)提取很多復(fù)雜的特征通過(guò)多層次的非線性變換，它可以將初始的“底層”特征表示轉(zhuǎn)化為“高層”特征表示后，用“簡(jiǎn)單模型”即可完成復(fù)雜的分類學(xué)習(xí)任務(wù)什么是深度學(xué)習(xí)深度=很多很多的網(wǎng)絡(luò)層數(shù)什么是深度學(xué)習(xí)第一次興起：1943年由McCulloch和Pitts首次提出了神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元模型——M-P神經(jīng)元模型。1958年，感知器perceptron誕生。由于無(wú)法解決異或問(wèn)題陷入低谷期第二次興起：1986年，Hinton提出多層感知機(jī)（MLP）,加上非線性激活函數(shù)，解決了異或問(wèn)題。并且提出了BP反向傳播算法，來(lái)訓(xùn)練模型。受限于理論不完善（解釋性差等）最終暫時(shí)敗于SVM，陷入第二次低谷期第三次興起，突破，2006年前后GoeffreyHinton提出pre-training方法訓(xùn)練DBN（深度信念網(wǎng)絡(luò)）以及YannLeCun將BP與CNN結(jié)合推出Le-Net。2009：GPU興起。2012年以后：語(yǔ)音、圖像，文本深度學(xué)習(xí)發(fā)展歷程神經(jīng)網(wǎng)絡(luò)發(fā)展史：深度學(xué)習(xí)再次飛躍發(fā)展的因素：大規(guī)模高質(zhì)量標(biāo)注數(shù)據(jù)集的出現(xiàn)并行運(yùn)算(例如GPU)的發(fā)展更好的非線性激活函數(shù)的使用：ReLU代替Sigmoid更多優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)明:ResNet,GoogleNet,AlexNet等深度學(xué)習(xí)開(kāi)發(fā)平臺(tái)的發(fā)展:TensorFlow,Pytorch,Theano和MXNet等新的正則化技術(shù)的出現(xiàn):批標(biāo)準(zhǔn)化、Dropout等更多穩(wěn)健的優(yōu)化算法:SGD的變種,如RMSprop,Adam等深度學(xué)習(xí)發(fā)展歷程ImageNet：一個(gè)大型可視化數(shù)據(jù)庫(kù)。擁有超過(guò)1400萬(wàn)的標(biāo)注圖像,包含2萬(wàn)多個(gè)類別。2010年以來(lái)，ImageNet項(xiàng)目每年舉辦一次軟件競(jìng)賽，即ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVRC）。挑戰(zhàn)賽使用1000個(gè)“整理”后的非重疊類，比賽內(nèi)容是：正確分類、并檢測(cè)目標(biāo)及場(chǎng)景。圖像識(shí)別人類平均錯(cuò)誤率約5.1%，15年ResNet以3.57%的錯(cuò)誤率首次突破人類水平，16年冠軍Trimps-Soushen錯(cuò)誤率僅2.99%，17年SeNet錯(cuò)誤率只有2.25%深度學(xué)習(xí)應(yīng)用-圖像類應(yīng)用ZFDeep深度學(xué)習(xí)應(yīng)用-物體檢測(cè)與分割/matterport/Mask_RCNN深度學(xué)習(xí)應(yīng)用-風(fēng)格遷移/zhanghang1989/MXNet-Gluon-Style-Transfer/深度學(xué)習(xí)應(yīng)用-人臉合成2017年的DeepFakes和2019年手機(jī)APP-ZAO用換臉技術(shù)在互聯(lián)網(wǎng)社交平臺(tái)上人氣火爆，一度成為熱門(mén)話題通過(guò)攝像頭采集臉部特征（根據(jù)指示對(duì)鏡頭完成一些動(dòng)作）無(wú)監(jiān)督的圖像到圖像轉(zhuǎn)換的生成對(duì)抗網(wǎng)絡(luò)深度學(xué)習(xí)應(yīng)用-人臉識(shí)別Google神經(jīng)機(jī)器翻譯系統(tǒng)在多種語(yǔ)言間的翻譯性能獲得大幅突破,接近人類的翻譯水平深度學(xué)習(xí)應(yīng)用-自然語(yǔ)言處理生成莎士比亞詩(shī)集生成藏頭詩(shī)深度學(xué)習(xí)應(yīng)用-自動(dòng)生成文本深度學(xué)習(xí)應(yīng)用-文本生成圖片/blog/dall-e/在語(yǔ)音識(shí)別領(lǐng)域極具挑戰(zhàn)性的SwitchBoard任務(wù)中，GMM-HMM傳統(tǒng)方法一直未能有突破2011年使用DNN后獲得較大突破2015年,IBM再次將錯(cuò)誤率降低到6.9%,接近人類的水平(4%)2016年，Microsoft將錯(cuò)誤率降低到5.9%，進(jìn)一步接近人類水平公開(kāi)語(yǔ)料庫(kù)：

/resources.php中文：THCHS-30，清華大學(xué)，30小時(shí)連續(xù)普通話語(yǔ)音數(shù)據(jù)庫(kù)深度學(xué)習(xí)應(yīng)用-語(yǔ)音識(shí)別2015年10月，AlphaGo擊敗樊麾，成為第一個(gè)無(wú)需讓子即可在19路棋盤(pán)上擊敗圍棋職業(yè)棋手的電腦圍棋程序。2016年3月，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝。2017年5月23日到27日，在中國(guó)烏鎮(zhèn)圍棋峰會(huì)上，AlphaGo以3比0的總比分戰(zhàn)勝排名世界第一的世界圍棋冠軍柯潔。2017年10月18日，DeepMind團(tuán)隊(duì)公布了AlphaGoZero，從空白狀態(tài)學(xué)起，在無(wú)任何人類輸入的條件下，AlphaGoZero能夠迅速自學(xué)圍棋，用40天超越了所有舊版本。深度學(xué)習(xí)應(yīng)用-AlphaGo深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)深度學(xué)習(xí)VS機(jī)器學(xué)習(xí)人工智能ArtificialIntelligence機(jī)器學(xué)習(xí)MachineLearning深度學(xué)習(xí)DeepLearning（1）數(shù)據(jù)依賴性

當(dāng)數(shù)據(jù)很少時(shí)，深度學(xué)習(xí)算法的性能并不好。因?yàn)樯疃葘W(xué)習(xí)算法需要大量的數(shù)據(jù)才能很好理解其中蘊(yùn)含的模式。（2）硬件依賴深度學(xué)習(xí)算法需要進(jìn)行大量的矩陣運(yùn)算，GPU

主要用來(lái)高效優(yōu)化矩陣運(yùn)算，所以GPU是深度學(xué)習(xí)正常工作的必須硬件。與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)更依賴安裝GPU的高端機(jī)器。深度學(xué)習(xí)VS機(jī)器學(xué)習(xí)（3）特征處理機(jī)器學(xué)習(xí)需要專家人為定義特征，并編碼為一種數(shù)據(jù)類型。特征工程處理過(guò)程非常耗時(shí)且需要相應(yīng)的專業(yè)知識(shí)。機(jī)器學(xué)習(xí)的模型效果好壞極大取決于特征工程。深度學(xué)習(xí)嘗試從數(shù)據(jù)中直接獲取特征，這是深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)算法的主要的不同。例如，卷積神經(jīng)網(wǎng)絡(luò)嘗試在前邊的層學(xué)習(xí)低等級(jí)的特征(邊界，線條)，然后學(xué)習(xí)部分人臉，然后是高級(jí)的人臉的描述。深度學(xué)習(xí)VS機(jī)器學(xué)習(xí)（4）問(wèn)題解決方式傳統(tǒng)機(jī)器學(xué)習(xí)通常會(huì)將問(wèn)題分解為多個(gè)子問(wèn)題并逐個(gè)子問(wèn)題解決最后結(jié)合所有子問(wèn)題的結(jié)果獲得最終結(jié)果。深度學(xué)習(xí)提倡直接的端到端的解決問(wèn)題機(jī)器學(xué)習(xí)會(huì)將問(wèn)題分解為兩步：物體檢測(cè)和物體識(shí)別。首先，使用一個(gè)邊界框檢測(cè)算法掃描整張圖片找到可能的是物體的區(qū)域；然后使用物體識(shí)別算法(例如SVM結(jié)合HOG)對(duì)上一步檢測(cè)出來(lái)的物體進(jìn)行識(shí)別。

深度學(xué)習(xí)會(huì)直接將輸入數(shù)據(jù)進(jìn)行運(yùn)算得到輸出結(jié)果。例如可以直接將圖片傳給YOLO網(wǎng)絡(luò)(一種深度學(xué)習(xí)算法)，YOLO網(wǎng)絡(luò)會(huì)給出圖片中的物體和名稱。多物體檢測(cè)任務(wù)：深度學(xué)習(xí)VS機(jī)器學(xué)習(xí)（5）執(zhí)行時(shí)間

機(jī)器學(xué)習(xí)的訓(xùn)練會(huì)消耗的時(shí)間相對(duì)較少，只需要幾秒鐘到幾小時(shí)的時(shí)間。根據(jù)數(shù)據(jù)量和機(jī)器學(xué)習(xí)算法而定。

深度學(xué)習(xí)訓(xùn)練需要很長(zhǎng)的時(shí)間：這是因?yàn)樯疃葘W(xué)習(xí)算法中參數(shù)很多，因此訓(xùn)練算法需要消耗更長(zhǎng)的時(shí)間。最先進(jìn)的深度學(xué)習(xí)算法ResNet完整地訓(xùn)練一次需要消耗兩周的時(shí)間。所以需要GPU來(lái)大大提升訓(xùn)練速度。（6）可解釋性

機(jī)器學(xué)習(xí)中的類似決策樹(shù)、邏輯回歸這樣的算法具備規(guī)則的可解釋性，可以幫助決策者了解背后的邏輯推理。

深度學(xué)習(xí)算法的結(jié)果不具備可解釋性。

深度學(xué)習(xí)VS機(jī)器學(xué)習(xí)TensorflowPyTorchCaffeTheanoKeras…深度學(xué)習(xí)業(yè)務(wù)開(kāi)源框架簡(jiǎn)介課程實(shí)驗(yàn)代碼：Tensorflow2.0Tensorflow官方：/guide?hl=zh-cnKeras官方：https://keras-zh.readthedocs.io/二、深度學(xué)習(xí)概述知識(shí)點(diǎn)回顧什么是深度學(xué)習(xí)深度學(xué)習(xí)發(fā)展歷程深度學(xué)習(xí)應(yīng)用深度學(xué)習(xí)與機(jī)器學(xué)習(xí)比較深度學(xué)習(xí)概述知識(shí)點(diǎn)回顧人工智能技術(shù)基礎(chǔ)5.2全連接神經(jīng)網(wǎng)絡(luò)第五章深度學(xué)習(xí)01從感知機(jī)到神經(jīng)網(wǎng)絡(luò)02全連接網(wǎng)絡(luò)生物神經(jīng)元人類的大腦（生物神經(jīng)元）：樹(shù)突細(xì)胞體軸突樹(shù)突M-P神經(jīng)元模型神經(jīng)元受生物神經(jīng)元啟發(fā)，1943年由McCulloch和Pitts首次提出了神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元模型——M-P神經(jīng)元模型神經(jīng)元模型z…a1a2

aK+b偏差Bias權(quán)重Weightsw1w2wK…1、加權(quán)求和的值：

激活函數(shù)ActivationFunction2、經(jīng)過(guò)激活函數(shù)的神經(jīng)元輸出：

常見(jiàn)的激活函數(shù)11.符號(hào)函數(shù)Sign符號(hào)函數(shù)sign的值域?yàn)?1或-1，即當(dāng)輸入大于等于0時(shí)，輸出+1，小于0時(shí)輸出-1，2.階躍函數(shù)Sgn階躍函數(shù)與符號(hào)函數(shù)非常接近，區(qū)別在于當(dāng)輸入小于0時(shí)，階躍函數(shù)輸出是0，而符號(hào)函數(shù)輸出是-1常見(jiàn)的激活函數(shù)23.sigmoid函數(shù)值域?yàn)?0,1)該激活函數(shù)如今并不常用，因?yàn)樘荻忍菀罪柡?，不過(guò)RNN-LSTM網(wǎng)絡(luò)如今還會(huì)需要用到它。4.tanh函數(shù)值域?yàn)?-1,1)該激活函數(shù)因?yàn)镽eLU

函數(shù)的普及使用而不那么流行了。常見(jiàn)激活函數(shù)35.ReLU(修正線性單元)解析表達(dá)式可寫(xiě)為ReLU(x)=max(0,x)。值域?yàn)閇0,+∞)ReLU是如今應(yīng)用最廣泛的激活函數(shù)。但是ReLU可以kill神經(jīng)元：一旦ReLU后=0，該神經(jīng)元將不會(huì)被再激活。6.LeakyReLU

(滲漏線性單元)值域?yàn)??∞,+∞)，α一般是很小的常數(shù)，保留了一些負(fù)軸的值，使得負(fù)軸信息不會(huì)全部丟失。不管輸入到神經(jīng)元的是什么值，其至少能得到一個(gè)非零的數(shù)值。思考：激活函數(shù)可以是線性函數(shù)嗎？單層感知機(jī)感知機(jī)（Perceptron）是FrankRosenblatt在1957年就職于康奈爾航空實(shí)驗(yàn)室（CornellAeronauticalLab）時(shí)所發(fā)明的一種人工神經(jīng)網(wǎng)絡(luò)，可以被視為是一種最簡(jiǎn)單形式的神經(jīng)網(wǎng)絡(luò)，是一種二元線性分類器。1.單層感知機(jī)：僅包含輸入和輸出層兩層結(jié)構(gòu)應(yīng)用：?jiǎn)螌痈兄獧C(jī)實(shí)現(xiàn)邏輯與（AND）

11-2

激活函數(shù)用階躍函數(shù)sgn單層感知機(jī)單層感知機(jī)是一種線性可分模型，僅能解決線性可分的數(shù)據(jù)問(wèn)題課堂練習(xí)1：?jiǎn)螌痈兄獧C(jī)實(shí)現(xiàn)邏輯或（OR）OR

操作

？

？？

課堂練習(xí)2：?jiǎn)螌痈兄獧C(jī)實(shí)現(xiàn)邏輯異或（XOR）XOR

操作

？

？？無(wú)解。。。多層感知機(jī)多層感知器（MultilayerPerceptron，縮寫(xiě)MLP）是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，映射一組輸入向量到一組輸出向量，網(wǎng)絡(luò)結(jié)構(gòu)可以有多層，輸出節(jié)點(diǎn)也可以有多個(gè)。也叫多層神經(jīng)網(wǎng)絡(luò)，是最典型的神經(jīng)網(wǎng)絡(luò)模型，能解決線性不可分問(wèn)題。

輸入層

隱藏層輸出層

課堂練習(xí)2：?jiǎn)螌痈兄獧C(jī)實(shí)現(xiàn)邏輯異或（XOR）XOR

操作010111100000000神經(jīng)網(wǎng)絡(luò)分類按神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，介紹三種最常用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：1.前饋網(wǎng)絡(luò)前饋網(wǎng)絡(luò)中各個(gè)神經(jīng)元按接收信息的先后分為不同的層，每一層中的神經(jīng)元接收前一層神經(jīng)元的輸出作為輸入，計(jì)算后將該層的輸出傳遞到下一層神經(jīng)元。整個(gè)網(wǎng)絡(luò)中的信息朝一個(gè)方向傳播，沒(méi)有反向的信息傳播。常見(jiàn)的前饋網(wǎng)絡(luò)包括全連接前饋網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等。2.記憶網(wǎng)絡(luò)記憶網(wǎng)絡(luò)，也被稱為反饋網(wǎng)絡(luò)，網(wǎng)絡(luò)中的神經(jīng)元不僅可以接收其他神經(jīng)元的信息，也可以接收自己的歷史信息，并且在不同的時(shí)刻可以具有不同的狀態(tài)。記憶神經(jīng)網(wǎng)絡(luò)中的信息可以是單向傳遞，也可以是雙向傳遞。常見(jiàn)的記憶網(wǎng)絡(luò)包括循環(huán)神經(jīng)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、玻爾茲曼機(jī)等。3.圖網(wǎng)絡(luò)前饋網(wǎng)絡(luò)和記憶網(wǎng)絡(luò)都要求輸入是向量形式，但實(shí)際應(yīng)用中很多數(shù)據(jù)是圖結(jié)構(gòu)的，比如知識(shí)圖譜、社交網(wǎng)絡(luò)數(shù)據(jù)等，圖網(wǎng)絡(luò)是可以處理圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。節(jié)點(diǎn)之間的連接可以是有向的，也可以是無(wú)向的，每個(gè)節(jié)點(diǎn)可以收到來(lái)自相鄰節(jié)點(diǎn)或自身的信息。圖網(wǎng)絡(luò)是前饋網(wǎng)絡(luò)和記憶網(wǎng)絡(luò)的泛化，常見(jiàn)的圖網(wǎng)絡(luò)包括圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)等。第五章深度學(xué)習(xí)01從感知機(jī)到神經(jīng)網(wǎng)絡(luò)02全連接網(wǎng)絡(luò)1.網(wǎng)絡(luò)結(jié)構(gòu)-全連接神經(jīng)網(wǎng)絡(luò)基本單元62+3偏差Bias權(quán)重Weights1-2-1σ(z)

激活函數(shù)ActivationFunction-110.9971.網(wǎng)絡(luò)結(jié)構(gòu)-全連接前饋神經(jīng)網(wǎng)絡(luò)全連接前饋神經(jīng)網(wǎng)絡(luò)（FullyConnect

FeedforwardNetwork）

神經(jīng)元之間兩兩都連接，鏈?zhǔn)浇Y(jié)構(gòu)，前后次序給定；上一層的輸出為下一層的輸入。輸出層OutputLayer隱藏層Hidden

Layers輸入層InputLayer輸入層神經(jīng)元數(shù)量=特征的維度輸出層神經(jīng)元數(shù)量=分類的數(shù)量Eg：貓狗識(shí)別：2手寫(xiě)體0-9識(shí)別：10x2……xNLayer

2……Layer

L…………………………Outputy1y2yMInput Layer

1x1……1.網(wǎng)絡(luò)結(jié)構(gòu)-輸出層表示二分類問(wèn)題：sigmoid函數(shù)（單節(jié)點(diǎn)）多分類問(wèn)題：softmax函數(shù)輸出層OutputLayer隱藏層Hidden

Layers輸入層InputLayerx2Input Layer

1x1……xN……Layer

2……Layer

L…………………………Outputy1y2yMSoftmax

1.網(wǎng)絡(luò)結(jié)構(gòu)-輸出層表示輸入：256維向量輸出：10維向量神經(jīng)網(wǎng)絡(luò)均方誤差（MSE）預(yù)測(cè)值和真值的歐式距離均方誤差損失函數(shù)常用于回歸問(wèn)題中輸出層配套的激活函數(shù)一般為：linear輸出神經(jīng)元數(shù)量：1個(gè)交叉熵（cross-entropy）來(lái)源于信息論中熵的概念目前神經(jīng)網(wǎng)絡(luò)處理分類問(wèn)題常用的損失函數(shù)輸出層配套的激活函數(shù)一般為：sigmoid（二分類）、softmax（多分類）多分類神經(jīng)元數(shù)量=分類的數(shù)量神經(jīng)網(wǎng)絡(luò)的損失函數(shù)特征：?非負(fù)性?預(yù)測(cè)值和真實(shí)值接近時(shí)，損失函數(shù)值趨于零2.常見(jiàn)損失函數(shù)類別K的標(biāo)簽(實(shí)際概率）屬于類別K的預(yù)測(cè)概率3.尋找最優(yōu)參數(shù)–梯度下降法

超參數(shù)：學(xué)習(xí)率（learningrate）迷霧下山：每次沿著當(dāng)前位置最陡峭的方向走一步，直到谷底不同的初始點(diǎn)，可能走到不同的局部最小點(diǎn)問(wèn)題？假設(shè)輸入層1000，隱層1000，隱層1000，輸出10，權(quán)重：1*e10個(gè)。如何高效更新參數(shù)？誤差反向傳播（Backpropagation）BP算法3.尋找最優(yōu)參數(shù)–BP算法（誤差反向傳播）BP算法計(jì)算流程反向傳播算法過(guò)程：【權(quán)重初始化】通常將參數(shù)初始化為一個(gè)很小的，接近零的隨機(jī)值。【前向計(jì)算】依次計(jì)算各層神經(jīng)元的加權(quán)和z和激活值a，計(jì)算損失值L。【反向傳播】根據(jù)損失值L，由后向前，依次計(jì)算各層參數(shù)的梯度，運(yùn)用梯度下降迭代更新權(quán)重值。如此循環(huán)，直到滿足終止條件，更新迭代完成。人工智能技術(shù)基礎(chǔ)5.3神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)第五章深度學(xué)習(xí)01深度學(xué)習(xí)中的優(yōu)化方法02正則化過(guò)擬合和欠擬合損失epoch驗(yàn)證集訓(xùn)練集欠擬合過(guò)擬合深度學(xué)習(xí)的優(yōu)化參數(shù)學(xué)習(xí)算法的優(yōu)化SGD/mini-batchSGD自適應(yīng)學(xué)習(xí)率AdaGradRMSprop動(dòng)量法Momentum減少每次訓(xùn)練量Adam手動(dòng)調(diào)整學(xué)習(xí)率隨機(jī)失活DropoutL1、L2正則化提前終止Earlystopping欠擬合（訓(xùn)練集效果不好）過(guò)擬合（訓(xùn)練集效果好，但驗(yàn)證集效果不好）梯度下降：使用全部訓(xùn)練集樣本，計(jì)算代價(jià)太高。（更新一次參數(shù)，使用全部訓(xùn)練樣本）隨機(jī)梯度下降（stochasticgradientdescent，SGD）：

為了減少每次迭代的計(jì)算開(kāi)銷，通常在每次迭代中，隨機(jī)均勻采樣一個(gè)樣本計(jì)算梯度，更新一次參數(shù)。

小批量隨機(jī)梯度下降(mini-batchSGD)：

實(shí)際使用往往使用mini-batchSGD，即每次迭代中隨機(jī)均勻采樣多個(gè)樣本組成小批量，然后使用這個(gè)小批量來(lái)計(jì)算梯度，不僅能減少梯度估計(jì)的方差，還能充分利用計(jì)算資源，計(jì)算更快！1.參數(shù)最優(yōu)化–隨機(jī)梯度下降SGD

SGD缺點(diǎn)：1、容易收斂到局部最小值。2、選擇合適的learningrate比較困難-對(duì)所有的參數(shù)更新使用同樣的learningrateSmallBatchv.s.LargeBatchBatchsize=20(Fullbatch)每次看全量數(shù)據(jù)每個(gè)epoch更新一次每次看1個(gè)數(shù)據(jù)每個(gè)epoch更新20次總樣本(N=20)Batchsize=1SmallBatchv.s.LargeBatchMNISTCIFAR-10經(jīng)驗(yàn)：較小的batch-size效果較好深度學(xué)習(xí)的優(yōu)化參數(shù)學(xué)習(xí)算法的優(yōu)化SGD/mini-batchSGD自適應(yīng)學(xué)習(xí)率AdaGradRMSprop動(dòng)量法Momentum減少每次訓(xùn)練量Adam手動(dòng)調(diào)整學(xué)習(xí)率隨機(jī)失活DropoutL1、L2正則化提前終止Earlystopping欠擬合（訓(xùn)練集效果不好）過(guò)擬合（訓(xùn)練集效果好，但驗(yàn)證集效果不好）2.參數(shù)最優(yōu)化–手動(dòng)調(diào)整梯度:動(dòng)量法很難找到最佳的網(wǎng)絡(luò)參數(shù)在平坦處梯度下降緩慢停留在鞍點(diǎn)

停留在局部最小點(diǎn)

駐點(diǎn)（CriticalPoint）局部最小值鞍點(diǎn)普通GradientDescent

移動(dòng)方向梯度……

帶動(dòng)量的梯度下降

MovementGradient

移動(dòng)方向不僅由負(fù)梯度方向決定，還要考慮上次的動(dòng)量Movementofthelaststep

4.參數(shù)最優(yōu)化–自適應(yīng)學(xué)習(xí)率Adagrad

學(xué)習(xí)率太小→訓(xùn)練收斂太慢學(xué)習(xí)率太大→來(lái)回震蕩，損失未必會(huì)減低梯度變化小，希望η較大梯度變化大，希望η較小Adagrad:??←???

????∕??

??小常數(shù)，防止分母為0前面梯度的平方的總和OriginalSGD: ??←

?????

????∕??????

通常每次參數(shù)更新時(shí)，對(duì)于所有參數(shù)使用相同的學(xué)習(xí)率。AdaGrad算法的思想是：每一次參數(shù)更新，不同的參數(shù)使用不同的學(xué)習(xí)率。對(duì)于梯度較大的參數(shù)，學(xué)習(xí)率會(huì)變得較小；對(duì)于梯度較小的參數(shù)，學(xué)習(xí)率會(huì)變大。這樣可以使得參數(shù)在平緩的地方下降的稍微快些，不至于徘徊不前。5.參數(shù)最優(yōu)化–自適應(yīng)學(xué)習(xí)率RMSpropRMSprop（rootmeansquareprop均方根傳遞）：RMSProp增加了一個(gè)衰減系數(shù)α來(lái)控制歷史信息的獲取多少使用指數(shù)衰減平均，以丟棄遙遠(yuǎn)過(guò)去歷史梯度。降低了對(duì)早期歷史梯度的依賴歷史的梯度被逐漸減弱Adam（AdaptiveMomentEstimation）

Momentum

（用動(dòng)量來(lái)累積梯度）RMSprop（收斂速度更快、波動(dòng)幅度更?。dam特點(diǎn)：結(jié)合AdaGrad善于處理稀疏梯度和RMSprop善于處理非平穩(wěn)目標(biāo)的優(yōu)點(diǎn)對(duì)內(nèi)存需求較小為不同的參數(shù)計(jì)算不同的自適應(yīng)學(xué)習(xí)率第五章深度學(xué)習(xí)01深度學(xué)習(xí)中的優(yōu)化方法02正則化深度學(xué)習(xí)的正則化參數(shù)學(xué)習(xí)算法的優(yōu)化SGD/mini-batchSGD自適應(yīng)學(xué)習(xí)率AdaGradRMSprop動(dòng)量法Momentum減少每次訓(xùn)練量Adam手動(dòng)調(diào)整學(xué)習(xí)率隨機(jī)失活DropoutL1、L2正則化提前終止Earlystopping欠擬合（訓(xùn)練集效果不好）過(guò)擬合（訓(xùn)練集效果好，但驗(yàn)證集效果不好）1.防止過(guò)擬合–L1、L2正則化由于深度網(wǎng)絡(luò)的表達(dá)能力很強(qiáng)，模型復(fù)雜度高，很容易導(dǎo)致過(guò)擬合，泛化能力降低深度學(xué)習(xí)中的正則化的目的：防止過(guò)擬合，提高泛化能力損失epoch驗(yàn)證集訓(xùn)練集L1正則化L2正則化

L1正則化項(xiàng)是所有參數(shù)的絕對(duì)值之和，可以抑制參數(shù)的大小，但是易產(chǎn)生稀疏解，即一部分為0，一部分非零實(shí)數(shù)。L2正則化項(xiàng)是參數(shù)的平方和。傾向于讓參數(shù)數(shù)值上盡可能小，最后構(gòu)造出一個(gè)所有參數(shù)都比較小的模型，一定程度上避免過(guò)擬合。L1使權(quán)重稀疏，L2使權(quán)重平滑。常用L2正則。λ（懲罰系數(shù)）越大，權(quán)重總體越小。2.防止過(guò)擬合–提前停止（Earlystopping）模型的泛化能力通常是使用驗(yàn)證集評(píng)估得到的。隨著不停的迭代，模型在訓(xùn)練集上的誤差越來(lái)越小，而驗(yàn)證集上誤差往往會(huì)先減少后變大，因此可以在驗(yàn)證集上效果變差的時(shí)候，提前停止。損失epoch驗(yàn)證集訓(xùn)練集提前停止在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，每次更新參數(shù)之前，每個(gè)神經(jīng)元都有p的概率被丟棄dropout是防止過(guò)擬合提高的泛化性的利器3.防止過(guò)擬合–隨機(jī)失活（Dropout）人工智能技術(shù)基礎(chǔ)5.4循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)第五章深度學(xué)習(xí)

01RNN概論

02RNN網(wǎng)絡(luò)結(jié)構(gòu)及各層工作原理

03LSTM詳解

04GRU詳解生活中的序列數(shù)據(jù)73文本序列數(shù)據(jù)時(shí)間序列數(shù)據(jù)何人無(wú)不見(jiàn)，此地自何如。一夜山邊去，江山一夜歸。山風(fēng)春草色，秋水夜聲深。何事同相見(jiàn)，應(yīng)知舊子人。何當(dāng)不相見(jiàn)，何處見(jiàn)江邊。一葉生云里，春風(fēng)出竹堂。何時(shí)有相訪，不得在君心。為什么需要RNN？全連接網(wǎng)絡(luò)、CNN網(wǎng)絡(luò)：前一個(gè)輸入和后一個(gè)輸入是完全沒(méi)有關(guān)系的某些任務(wù)需要能夠更好的處理序列的信息，即前面的輸入和后面的輸入是有關(guān)系的。任務(wù)輸入輸出詞性標(biāo)注我吃蘋(píng)果我/nn吃/v蘋(píng)果/nn文本分類手機(jī)不買(mǎi)很吃虧1時(shí)間序列預(yù)測(cè)(每天氣溫)(次日氣溫)同步翻譯IloveChina我愛(ài)中國(guó)下一個(gè)出現(xiàn)位置預(yù)測(cè)基站A、B、C基站D為什么需要循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）？為什么需要循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）？7575RNN是為了對(duì)序列數(shù)據(jù)進(jìn)行建模而產(chǎn)生的。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(包括FCN、CNN)，輸入和輸出都是互相獨(dú)立的。RNN針對(duì)：序列數(shù)據(jù)（例如文本，是字母和詞匯的序列；語(yǔ)音，是音節(jié)的序列；視頻，是圖像的序列；氣象觀測(cè)數(shù)據(jù)，股票交易數(shù)據(jù)等等）輸出的內(nèi)容與之前的內(nèi)容是相關(guān)的。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(包括FCN、CNN)，要求有固定的輸入和輸出的尺寸，而在文本領(lǐng)域，根據(jù)不同任務(wù)需要處理1-1，1-多，多-多，多-1等多種情況。RNN網(wǎng)絡(luò)結(jié)構(gòu)較為靈活。核心思想：樣本間存在順序關(guān)系，每個(gè)樣本和它之前的樣本存在關(guān)聯(lián)。引入“記憶”的概念，來(lái)處理前后數(shù)據(jù)的相關(guān)性。第五章深度學(xué)習(xí)

01RNN概論

02RNN網(wǎng)絡(luò)結(jié)構(gòu)及各層工作原理

03LSTM詳解

04GRU詳解RNN結(jié)構(gòu)

輸入層隱藏層輸出層MemoryCell循環(huán)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

SimpleRNN在計(jì)算時(shí)，把上一次隱藏層的結(jié)果數(shù)據(jù)，作為下一次的一個(gè)輸入源，與下一次的x合并后，再傳入隱藏層。這個(gè)過(guò)程，保留了之前數(shù)據(jù)的信息。RNN的過(guò)程中，共享同一個(gè)權(quán)重矩陣A。這個(gè)A就是W和U的拼接。RNNexampleRNN處理序列數(shù)據(jù)，按序?qū)?shù)據(jù)一個(gè)一個(gè)傳入網(wǎng)絡(luò)計(jì)算RNNexampleEg:根據(jù)用戶的輸入，判斷用戶的說(shuō)話意圖（多分類）RNN存在的問(wèn)題RNN的缺陷：1.RNN有短期記憶問(wèn)題，無(wú)法處理很長(zhǎng)的輸入序列由于反向傳播BPTT（backpropthroughtime）算法普遍存在梯度消失的問(wèn)題，但是由于RNN是序列計(jì)算，所以早期的步驟的梯度就非常小了。短期的記憶影響較大（如橙色區(qū)域），但是長(zhǎng)期的記憶影響就很?。ㄈ绾谏途G色區(qū)域）由于RNN的短期記憶問(wèn)題，后來(lái)又出現(xiàn)了一系列基于RNN的優(yōu)化算法。RNN應(yīng)用舉例——預(yù)測(cè)股價(jià)83Wt-1Wt+1Wt輸入最近兩天的股價(jià)，預(yù)測(cè)第三天的股價(jià)RNN應(yīng)用舉例——預(yù)測(cè)位置84輸入用戶已經(jīng)走過(guò)點(diǎn)的經(jīng)緯度，預(yù)測(cè)用戶下一時(shí)刻的經(jīng)緯度。RNN基礎(chǔ)RNN使用場(chǎng)景時(shí)序數(shù)據(jù)、文本、語(yǔ)音等設(shè)計(jì)原因數(shù)據(jù)有時(shí)間上的先后依賴關(guān)系記憶單元工作原理，數(shù)據(jù)連接方式總結(jié)人工智能技術(shù)基礎(chǔ)5.4卷積神經(jīng)網(wǎng)絡(luò)(CNN)第五章深度學(xué)習(xí)01CNN為什么適用于圖像02CNN網(wǎng)絡(luò)結(jié)構(gòu)及各層工作原理圖像的表示88灰度圖片：18*18*1彩色圖片（RGB）48*48*3RGB每個(gè)通道的每個(gè)像素用[0,255]之間的數(shù)字表示為什么CNN適用于圖像？8989圖像識(shí)別的輸入X是shape為(width,height,depth)的三維張量。直接展開(kāi)至一維向量作為全連接的輸入層會(huì)非常大。1、彩色圖片維度很大…………softmax……10003x

107100x100x

3100100為什么CNN適用于圖像？90識(shí)別貓

→識(shí)別貓眼睛、貓耳朵等特征2、特征往往小于圖片3、特征會(huì)出現(xiàn)在圖片的任何位置檢測(cè)中間偏右是否有貓眼睛檢測(cè)中間偏左是否有貓眼睛幾乎做完全一樣的事，用完全一樣的參數(shù)設(shè)置為什么CNN適用于圖像？4、圖片壓縮大小不會(huì)改變特征下采樣下采樣

→保留特征+減小圖片尺寸→網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)變少→參數(shù)變少→加快訓(xùn)練第五章深度學(xué)習(xí)01CNN為什么適用于圖像02CNN網(wǎng)絡(luò)結(jié)構(gòu)及各層工作原理CNN基本網(wǎng)絡(luò)結(jié)構(gòu)卷積層非線性池化X？是:0.08否:0.92全連接向量化…1.卷積運(yùn)算9494卷積前：6x61×1+0×(-1)+0×(-1)+0×(-1)+1×1+0×(-1)+0×(-1)+0×(-1)+1×1=3

-1-3-1-310-3-3-3013-2-2-1卷積后：4x4

Filter1（過(guò)濾器）：3x331.卷積運(yùn)算95卷積前：6x6-11-1-11-1-11-1-1-1-1-1-1-1-21-1-1-21-10-43卷積后：4x4

Filter2（過(guò)濾器）：3x31-1-1-11-1-1-113-1-3-1-310-3-3-3013-2-2-1疊加后：4

x4x2特征圖-11-1-11-1-11-11.卷積中的填充與步長(zhǎng)96步長(zhǎng)1，零填充0步長(zhǎng)2，零填充0步長(zhǎng)1，零填充1步長(zhǎng)2，零填充11000010100100011001000100100100010106x6

image1.彩色圖片的卷積9797彩色圖像2.CNN中的非線性98和前饋神經(jīng)網(wǎng)絡(luò)一樣，經(jīng)過(guò)線性組合和偏移后，會(huì)加入非線性增強(qiáng)模型的擬合能力。將卷積所得的FeatureMap經(jīng)過(guò)ReLU變換（elementwise）后所得到的output就如下圖所展示。3.池化運(yùn)算（MaxPooling）9999-11-1-11-1-11-1Filter

2Filter

11-1-1-11-1-1-113-1-3-1-310-3-3-3013-2-2-1-1-1-1-1-1-1-21-1-1-21-100-4331000010100100011001000100100100010106x6

image卷積池化0000000100010003-1-1-1-1-1-1-21-1-1-21-10-4301033-1-3-1-310-3-3-3013-2-2-1非線性層、池化層計(jì)算原理小結(jié)30000100000130003031正數(shù)→不變負(fù)數(shù)→0ReLU：MaxPooling：池化塊大?。?x2塊內(nèi)保留最大數(shù)網(wǎng)絡(luò)可視化小工具101

NetscopeConvNetDraw體驗(yàn)地址：/netscope/quickstart.html體驗(yàn)地址：/convdraw/CNN網(wǎng)絡(luò)結(jié)構(gòu)使用場(chǎng)景圖像分類、目標(biāo)定位檢測(cè)、人臉識(shí)別、語(yǔ)音等設(shè)計(jì)原因圖像原始維度大、特征小、不固定、可壓縮卷積層池化層全連接層過(guò)濾器、卷積計(jì)算、特征圖、非線性池化快、最大值向量化課堂實(shí)戰(zhàn)手寫(xiě)體數(shù)字識(shí)別總結(jié)第六章知識(shí)圖譜01什么是知識(shí)圖譜02知識(shí)圖譜架構(gòu)03知識(shí)圖譜構(gòu)建04知識(shí)圖譜應(yīng)用01什么是知識(shí)圖譜機(jī)器知識(shí)庫(kù)自動(dòng)推理輔助決策人腦知識(shí)庫(kù)人類思維決策知識(shí)圖譜人腦思維知識(shí)圖譜是知識(shí)工程的一個(gè)分支，是以知識(shí)工程中的語(yǔ)義網(wǎng)絡(luò)作為理論基礎(chǔ)，結(jié)合了機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、知識(shí)表示和知識(shí)推理等相關(guān)技術(shù)，以結(jié)構(gòu)化的形式來(lái)描述客觀世界中的各種概念和實(shí)體間的關(guān)系，使機(jī)器在信息表達(dá)方面能夠更加接近人類的思維方式。什么是知識(shí)圖譜：一般定義傳統(tǒng)的搜索引擎主要采用基于關(guān)鍵詞的搜索技術(shù)，搜索結(jié)果是一個(gè)包含關(guān)鍵詞的網(wǎng)頁(yè)列表?；谥R(shí)圖譜的搜索引擎采用語(yǔ)義網(wǎng)絡(luò)的搜索技術(shù)，搜索結(jié)果直接給出用戶需要的答案，極大改善了用戶體驗(yàn)。搜索結(jié)果直接給出了答案給出了人物的關(guān)系圖譜什么是知識(shí)圖譜：語(yǔ)義搜索知識(shí)圖譜本質(zhì)上是一種叫做語(yǔ)義網(wǎng)絡(luò)（SemanticNetwork）的知識(shí)庫(kù)，是一個(gè)采用有向圖結(jié)構(gòu)建立起來(lái)的知識(shí)庫(kù)，旨在描述真實(shí)世界中存在的各種實(shí)體或概念及其關(guān)聯(lián)關(guān)系，其構(gòu)成一張巨大的語(yǔ)義網(wǎng)絡(luò)圖。

節(jié)點(diǎn)表示概念或者實(shí)體，邊則由關(guān)系和屬性構(gòu)成。高質(zhì)量的搜索效果歸功于搜索引擎背后的知識(shí)圖譜什么是知識(shí)圖譜：語(yǔ)義網(wǎng)絡(luò)知識(shí)的一個(gè)經(jīng)典定義來(lái)自于柏拉圖：一條陳述能稱得上是知識(shí)則必須滿足三個(gè)條件，即知識(shí)一定是被驗(yàn)證過(guò)的、正確的、被人們相信的，這也是科學(xué)與非科學(xué)的區(qū)分標(biāo)準(zhǔn)。數(shù)據(jù)是反映客觀事物運(yùn)動(dòng)狀態(tài)的信號(hào)通過(guò)感覺(jué)器官或觀測(cè)儀器感知而形成的文本、數(shù)字、事實(shí)或者圖像等符號(hào)形式的記錄。數(shù)據(jù)是原始的記錄，未被加工解釋，沒(méi)有回答特定的問(wèn)題，與其他數(shù)據(jù)之間沒(méi)有建立相互聯(lián)系。信息是對(duì)數(shù)據(jù)進(jìn)行加工處理，使數(shù)據(jù)之間建立相互聯(lián)系，形成回答了某個(gè)特定問(wèn)題的文本，以及能夠被解釋成有具體意義的數(shù)字、事實(shí)、圖像等。信息是隱藏在數(shù)據(jù)背后的規(guī)律，需要人類的挖掘和探索才能夠發(fā)現(xiàn)。數(shù)據(jù)信息知識(shí)來(lái)源于數(shù)據(jù)和信息，但不是數(shù)據(jù)和信息的簡(jiǎn)單積累。知識(shí)是可用于指導(dǎo)實(shí)踐的信息，是人們?cè)诟脑焓澜绲膶?shí)踐中所獲得的認(rèn)識(shí)和經(jīng)驗(yàn)的總和，是人類對(duì)物質(zhì)世界以及精神世界探索的結(jié)果總和，是數(shù)據(jù)和信息更加高級(jí)抽象的概念。知識(shí)什么是知識(shí)圖譜：知識(shí)的定義本體通常用來(lái)描述領(lǐng)域知識(shí)，是從客觀世界中抽象出來(lái)的一個(gè)概念模型，這個(gè)模型包含了某個(gè)學(xué)科領(lǐng)域內(nèi)的基本術(shù)語(yǔ)和術(shù)語(yǔ)之間的關(guān)系，或者稱為概念以及概念之間的關(guān)系。本體表示法知識(shí)表示的方法有很多種，而在知識(shí)圖譜中應(yīng)用最為廣泛的是本體表示法和語(yǔ)義網(wǎng)絡(luò)表示法概念是某一領(lǐng)域內(nèi)相同性質(zhì)對(duì)象集合的抽象表示形式。例如在教育領(lǐng)域的本體中，教師、學(xué)生、課程都是概念實(shí)例是概念中的特定元素，一般都對(duì)應(yīng)著客觀世界的具體事物，例如《人工智能技術(shù)基礎(chǔ)》課程是課程概念的一個(gè)實(shí)例關(guān)系是概念與概念之間或者概念與實(shí)例之間的關(guān)系類型，例如羊和綿羊這兩個(gè)概念之間存在概念與子概念的層次關(guān)系，綿羊?qū)儆谘蚴裁词侵R(shí)圖譜：知識(shí)表示（1）語(yǔ)義網(wǎng)絡(luò)是一種通過(guò)概念及其語(yǔ)義聯(lián)系來(lái)表示知識(shí)的有向圖，其基本單元是節(jié)點(diǎn)和邊。節(jié)點(diǎn)表示事物、概念、情況、屬性、狀態(tài)、事件和動(dòng)作等，邊表示節(jié)點(diǎn)之間的聯(lián)系或關(guān)系。語(yǔ)義網(wǎng)絡(luò)表示法知識(shí)表示的方法有很多種，而在知識(shí)圖譜中應(yīng)用最為廣泛的是本體表示法和語(yǔ)義網(wǎng)絡(luò)表示法什么是知識(shí)圖譜：知識(shí)表示（2）豬和羊是動(dòng)物豬和羊都是哺乳動(dòng)物野豬是豬，生活在森林里山羊是一種羊，頭上長(zhǎng)著角綿羊是羊，能夠生產(chǎn)羊毛語(yǔ)義網(wǎng)絡(luò)描述的是事實(shí)/知識(shí)第六章知識(shí)圖譜01什么是知識(shí)圖譜02知識(shí)圖譜架構(gòu)03知識(shí)圖譜構(gòu)建04知識(shí)圖譜應(yīng)用02知識(shí)圖譜架構(gòu)

數(shù)據(jù)層（DataLayer）是將事實(shí)以“實(shí)體-關(guān)系-實(shí)體”或“實(shí)體-屬性-屬性值”三元組的形式進(jìn)行存儲(chǔ)，形成一個(gè)網(wǎng)狀的知識(shí)庫(kù)。在知識(shí)圖譜的數(shù)據(jù)層，用節(jié)點(diǎn)表示實(shí)體，用邊表示實(shí)體間關(guān)系或?qū)嶓w的屬性。舉例：（中國(guó)，首都，北京）模式層（SchemaLayer）是知識(shí)圖譜的概念模型和邏輯基礎(chǔ)，對(duì)數(shù)據(jù)層進(jìn)行規(guī)范約束，多采用本體作為知識(shí)圖譜的模式層，借助本體定義的規(guī)則和公理來(lái)約束知識(shí)圖譜的數(shù)據(jù)層，即按照模式層的規(guī)范來(lái)組織和管理數(shù)據(jù)層。舉例：（國(guó)家，擁有，人口）數(shù)據(jù)層模式層數(shù)據(jù)層存儲(chǔ)和管理的是以事實(shí)為單位的知識(shí)；模式層位于數(shù)據(jù)層的上層，是知識(shí)圖譜的核心層，存儲(chǔ)和管理的是經(jīng)過(guò)提煉和抽象的知識(shí)。知識(shí)圖譜架構(gòu)：邏輯架構(gòu)知識(shí)抽取從原始數(shù)據(jù)中抽取知識(shí)要素知識(shí)表示將知識(shí)單元表示成計(jì)算機(jī)可以理解和處理的形式知識(shí)融合將不同來(lái)源的知識(shí)整合起來(lái)質(zhì)量評(píng)估對(duì)不準(zhǔn)確或者錯(cuò)誤的知識(shí)進(jìn)行修正知識(shí)推理模擬人類思維的推理方式，挖掘隱含的知識(shí)從最原始的數(shù)據(jù)出發(fā)，采用一系列自動(dòng)或者半自動(dòng)的技術(shù)手段，從原始數(shù)據(jù)和第三方知識(shí)庫(kù)中提取知識(shí)事實(shí)，并將其存入知識(shí)庫(kù)的數(shù)據(jù)層和模式層知識(shí)圖譜架構(gòu)：技術(shù)架構(gòu)第六章知識(shí)圖譜01什么是知識(shí)圖譜02知識(shí)圖譜架構(gòu)03知識(shí)圖譜構(gòu)建04知識(shí)圖譜應(yīng)用03知識(shí)圖譜構(gòu)建根據(jù)知識(shí)圖譜的邏輯架構(gòu)，知識(shí)圖譜的構(gòu)建過(guò)程就是模式層和數(shù)據(jù)層的實(shí)現(xiàn)過(guò)程。

知識(shí)圖譜的構(gòu)建是以原始數(shù)據(jù)為輸入，依次經(jīng)過(guò)數(shù)據(jù)處理、知識(shí)抽取、知識(shí)融合、知識(shí)存儲(chǔ)、知識(shí)計(jì)算和知識(shí)服務(wù)多個(gè)流程，最終通過(guò)服務(wù)接口對(duì)外提供服務(wù)，支撐各行各業(yè)的知識(shí)應(yīng)用。知識(shí)圖譜構(gòu)建（1）知識(shí)圖譜的核心是基于語(yǔ)義網(wǎng)絡(luò)的知識(shí)庫(kù)，一條條知識(shí)是以計(jì)算機(jī)能夠處理和理解的形式保存在知識(shí)庫(kù)中，數(shù)據(jù)是知識(shí)的來(lái)源和基礎(chǔ)，特別是來(lái)自互聯(lián)網(wǎng)的數(shù)據(jù)具有豐富性和多樣性的特點(diǎn)，因此要求知識(shí)圖譜能夠處理大規(guī)模的異構(gòu)數(shù)據(jù)。

按照不同類型數(shù)據(jù)的特點(diǎn)，通常將數(shù)據(jù)分為三類：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。1.原始數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)二維表半結(jié)構(gòu)化數(shù)據(jù)HTMLXMLJSON非結(jié)構(gòu)化數(shù)據(jù)文檔圖片聲音視頻結(jié)構(gòu)化數(shù)據(jù)示例半結(jié)構(gòu)化數(shù)據(jù)示例知識(shí)圖譜構(gòu)建（2）知識(shí)建模的理論基礎(chǔ)是本體論，根據(jù)概念間的上下位關(guān)系將概念組織成樹(shù)結(jié)構(gòu)或者有向圖無(wú)環(huán)結(jié)構(gòu)，根據(jù)概念間的上下位關(guān)系及其組織結(jié)構(gòu)能夠進(jìn)行知識(shí)推理。知識(shí)圖譜對(duì)接外部數(shù)據(jù)源進(jìn)行原始數(shù)據(jù)的采集和處理，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。

針對(duì)不同類型的原始數(shù)據(jù)，有著不同的處理技術(shù)。2.知識(shí)建模3.數(shù)據(jù)處理知識(shí)抽取主要是從數(shù)據(jù)中抽取構(gòu)成知識(shí)的基本元素，主要包括實(shí)體、關(guān)系、屬性、屬性值以及事件信息，將知識(shí)元素組織成知識(shí)條目。4.知識(shí)抽取知識(shí)圖譜構(gòu)建（3）知識(shí)融合的目的就是將不同來(lái)源的知識(shí)進(jìn)行合并整合，消除知識(shí)之間的不一致性、歧義性、沖突性、冗余性。

知識(shí)融合所涉及的技術(shù)主要包括實(shí)體對(duì)齊、實(shí)體消岐和指代消解。經(jīng)過(guò)知識(shí)融合和質(zhì)量評(píng)估處理之后，得到的是最終確定的高質(zhì)量的知識(shí)，需要存儲(chǔ)到知識(shí)庫(kù)中永久保存。

通常采用兩種知識(shí)存儲(chǔ)的方式：RDF三元組和屬性圖。5.知識(shí)融合6.知識(shí)存儲(chǔ)受到當(dāng)前技術(shù)水平的限制，從外部公共開(kāi)放域采集并抽取的知識(shí)有可能存在質(zhì)量問(wèn)題，甚至可能存在錯(cuò)誤，同時(shí)通過(guò)知識(shí)推理產(chǎn)生的新知識(shí)也可能不準(zhǔn)確，因此知識(shí)在存儲(chǔ)到知識(shí)庫(kù)之前，需要有一個(gè)質(zhì)量評(píng)估的過(guò)程。7.知識(shí)管理知識(shí)圖譜構(gòu)建（4）知識(shí)圖譜的語(yǔ)義網(wǎng)絡(luò)知識(shí)庫(kù)是一個(gè)龐大的圖形結(jié)構(gòu)的知識(shí)網(wǎng)絡(luò)，在各種圖算法的支持下，提供了強(qiáng)大的圖計(jì)算能力，能夠高效地進(jìn)行圖遍歷、路徑計(jì)算、社群計(jì)算、相似子圖計(jì)算、本體推理、規(guī)則推理等一系列的計(jì)算。知識(shí)服務(wù)是將知識(shí)圖譜的知識(shí)計(jì)算能力封裝成一種服務(wù)能力，提供給上層的知識(shí)應(yīng)用，上層應(yīng)用可以通過(guò)服務(wù)API接口調(diào)用知識(shí)圖譜的能力，從而支撐應(yīng)用實(shí)現(xiàn)相應(yīng)的業(yè)務(wù)場(chǎng)景。8.知識(shí)計(jì)算9.知識(shí)服務(wù)目前基于知識(shí)圖譜的應(yīng)用非常廣泛，已滲透到各行各業(yè)。例如搜索引擎的語(yǔ)義搜索、語(yǔ)音助理的智能問(wèn)答、電子商務(wù)網(wǎng)站的個(gè)性化推薦、公安機(jī)關(guān)的情報(bào)分析、金融行業(yè)的風(fēng)險(xiǎn)控制等，都是知識(shí)圖譜大顯身手的領(lǐng)域。10.知識(shí)應(yīng)用知識(shí)圖譜構(gòu)建（5）第六章知識(shí)圖譜01什么是知識(shí)圖譜02知識(shí)圖譜架構(gòu)03知識(shí)圖譜構(gòu)建04知識(shí)圖譜應(yīng)用04知識(shí)圖譜應(yīng)用行業(yè)應(yīng)用金融證券公安電商生活?yuàn)蕵?lè)農(nóng)業(yè)醫(yī)療制造其他智能語(yǔ)義搜索金融反欺詐智能制造股票投研分析公安情報(bào)分析智能問(wèn)答個(gè)性化推薦應(yīng)用場(chǎng)景知識(shí)圖譜應(yīng)用本章學(xué)習(xí)了知識(shí)圖譜的基本概念、知識(shí)表示、邏輯架構(gòu)、技術(shù)架構(gòu)、構(gòu)建方法、關(guān)鍵技術(shù)，總結(jié)了知識(shí)圖譜的強(qiáng)大能力及其在行業(yè)中的代表性應(yīng)用通過(guò)上述學(xué)習(xí)之后，應(yīng)充分認(rèn)識(shí)到知識(shí)圖譜不同于傳統(tǒng)的感知智能，它是認(rèn)知智能的典型代表，是更高層次的人工智能技術(shù)，也是人工智能未來(lái)的演進(jìn)方向本章小結(jié)第七章TensorFlow深度學(xué)習(xí)框架02TensorFlow安裝03TensorFlow基礎(chǔ)知識(shí)04TensorFlow實(shí)戰(zhàn)01TensorFlow簡(jiǎn)介深度學(xué)習(xí)框架介紹scikit-learn專注于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，對(duì)常用的機(jī)器學(xué)習(xí)算法進(jìn)行了封裝，包括回歸、分類、聚類等方法。Keras

是一個(gè)用Python編寫(xiě)的高級(jí)神經(jīng)網(wǎng)絡(luò)API,它能夠以TensorFlow,CNTK,或者Theano作為后端運(yùn)行錯(cuò)誤!未找到引用源。。TensorFlow是谷歌推出的深度學(xué)習(xí)框架，是一個(gè)端到端開(kāi)源機(jī)器學(xué)習(xí)平臺(tái)。借助TensorFlow，初學(xué)者和專家可以輕松創(chuàng)建適用于桌面、移動(dòng)、網(wǎng)絡(luò)和云端環(huán)境的機(jī)器學(xué)習(xí)模型錯(cuò)誤!未找到引用源。。TensorFlow作為后端框架，提供張量運(yùn)算、微分運(yùn)算等低層次的運(yùn)算。Keras作為前端框架，提供了模型級(jí)的API。TensorFlow是目前最流行的深度學(xué)習(xí)框架，本書(shū)主要介紹此框架的基礎(chǔ)知識(shí)和使用。Pytorch也是一個(gè)端到端開(kāi)源機(jī)器學(xué)習(xí)框架。和TensorFlow相比，Pytorch在學(xué)術(shù)屆廣泛使用，而TensorFlow在工業(yè)界廣泛使用。PaddlePaddle（飛槳）以百度的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國(guó)首個(gè)自主研發(fā)、功能完備、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件和豐富的工具組件于一體TensorFlow系統(tǒng)架構(gòu)CAPI把TensorFlow分割為前端和后端，前端（Python/C++/JavaClient）基于CAPI觸發(fā)TensorFlow后端程序運(yùn)行。Traininglibraries和Inferencelibs是模型訓(xùn)練和推導(dǎo)的庫(kù)函數(shù)，為用戶開(kāi)發(fā)應(yīng)用模型使用。DistributedMaster將用戶的請(qǐng)求轉(zhuǎn)換為一系列任務(wù)的執(zhí)行。給定一個(gè)計(jì)算圖和操作定義后，它將計(jì)算圖分解為子圖，不同的子圖分片運(yùn)行在不同的設(shè)備上。DataflowExecutor處于各個(gè)任務(wù)中，它接收Master發(fā)過(guò)來(lái)的請(qǐng)求，調(diào)度執(zhí)行子圖操作。Kernel為T(mén)ensorFlow中算法操作的具體實(shí)現(xiàn)，如卷積操作，激活操作等。RPC和RDMA為網(wǎng)絡(luò)層，主要負(fù)責(zé)傳遞神經(jīng)網(wǎng)絡(luò)算法參數(shù)。CPU和GPU為設(shè)備層，主要負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)算法中具體的運(yùn)算操作。第七章TensorFlow深度學(xué)習(xí)框架02TensorFlow安裝03TensorFlow基礎(chǔ)知識(shí)04TensorFlow實(shí)戰(zhàn)01TensorFlow簡(jiǎn)介系統(tǒng)要求Python3.5-3.8，若要支持Python3.8，需要使用TensorFlow2.2或更高版本。pip19.0或更高版本。操作系統(tǒng)：Windows7或更高版本（64位）。Ubuntu16.04或更高版本（64位）。macOS10.12.6(Sierra)或更高版本（64位）（不支持GPU）。4.如要使用GPU運(yùn)算，需要支持CUDA?的顯卡（適用于Ubuntu和Windows）。軟件版本信息WindowsWindows10，64位Python3.8.xTensorFlow2.4.x安裝方式1：從Python開(kāi)始下載Python安裝文件配置清華鏡像安裝常用科學(xué)計(jì)算包安裝TensorFlow第一個(gè)TensorFlow代碼安裝方式2：從Anaconda開(kāi)始安裝Anaconda配置清華鏡像源安裝TensorFlow第一個(gè)TensorFlow代碼第七章TensorFlow深度學(xué)習(xí)框架02TensorFlow安裝03TensorFlow基礎(chǔ)知識(shí)04TensorFlow實(shí)戰(zhàn)01TensorFlow簡(jiǎn)介張量張量（Tensor）是具有統(tǒng)一類型（稱為

dtype）的多維數(shù)組。所有張量都是不可變的，永遠(yuǎn)無(wú)法更新張量的內(nèi)容，只能創(chuàng)建新的張量。張量有最重要的2個(gè)屬性：形狀shape：張量的每個(gè)維度（軸）的長(zhǎng)度（元素?cái)?shù)量）數(shù)據(jù)類型dtype：float32、int32、或者string等張量0D張量只包含一個(gè)數(shù)字，有0個(gè)維度，又稱為標(biāo)量。rank_0_tensor=tf.constant(4)print(rank_0_tensor)張量1D張量包含一個(gè)一維數(shù)組，可以看作由0D張量組成的數(shù)組，有1個(gè)維度，又稱為向量。示例代碼如下：rank_1_tensor=tf.constant([2.0,3.0,4.0])print(rank_1_tensor)張量2D張量可以看作由1D張量組成的數(shù)組，有2個(gè)維度，又稱為矩陣。示例代碼如下：rank_2_tensor=tf.constant([[1,2],[3,4],[5,6]],dtype=tf.float16)

print(rank_2_tensor)7.1.6 張量3D張量可以看作由2D張量組成的數(shù)組，有3個(gè)維度。示例代碼如下：rank_3_tensor=tf.constant([[[0,1,2,3,4],

[5,6,7,8,9]],

[[10,11,12,13,14],

[15,16,17,18,19]],

[[20,21,22,23,24],

[25,26,27,28,29]],])

print(rank_3_tensor)張量4D張量可以看作由3D張量組成的數(shù)組，有4個(gè)維度。示例代碼如下：#生成一個(gè)(3,3,2,5)的4維數(shù)組，值為[0,2)之間的隨機(jī)整數(shù)rand_4_array=np.random.randint(0,2,size=(3,3,2,5))

#將4維numpy數(shù)組轉(zhuǎn)化維4D張量

rank_4_tensor=tf.convert_to_tensor(rand_4_array)

print(rank_4_tensor.shape)

print(rank_4_tensor.numpy())

程序打印出4D張量rank_4_tensor的形狀和數(shù)據(jù)信息，運(yùn)行結(jié)果如下：(3,3,2,5)[[[[00011][10110]]

[[10001][01100]]

[[10111][01001]]]……張量在TensorFlow中，各個(gè)維度的含義是有規(guī)范的。一般按照從全局到局部的順序進(jìn)行排序：首先是批次維度，隨后是空間維度，最后是每個(gè)位置的特征。示例代碼中4D張量4個(gè)維度的典型順序含義為（Batch,Width,Height,Features）張量張量運(yùn)算可以分為標(biāo)量運(yùn)算、向量運(yùn)算、以及矩陣運(yùn)算。標(biāo)量運(yùn)算：對(duì)張量實(shí)施逐元素運(yùn)算，包括加、減、乘、除、乘方以及三角函數(shù)、指數(shù)、對(duì)數(shù)等常見(jiàn)函數(shù)。#張量運(yùn)算：標(biāo)量運(yùn)算a=tf.constant([[1,2],

[3,4]])

b=tf.constant([[0,0],

[1,0]])

print(a+b)

print(a-b)

print(a*b)

print(a/b)

張量向量運(yùn)算：只在一個(gè)特定軸上運(yùn)算，將一個(gè)向量映射到一個(gè)標(biāo)量或者另外一個(gè)向量。#張量運(yùn)算：向量運(yùn)算A=tf.constant([[2,20,30,3,6],

[1,1,1,1,1]])

print(tf.math.reduce_sum(A))

print(tf.math.reduce_max(A))

B=tf.constant([[2,20,30,3,6],

[3,11,16,1,8],

[14,45,23,5,27]])

print(tf.math.reduce_sum(B,0))#沿0軸，求和

print(tf.math.reduce_sum(B,1))#沿1軸，求和

print(tf.math.reduce_max(B,0))#沿0軸，求最大值

print(tf.math.reduce_max(B,1))#沿1軸，求最大值張量矩陣運(yùn)算：矩陣必須是二維的，包括矩陣乘法、矩陣轉(zhuǎn)置、矩陣逆、矩陣行列式、矩陣求特征值、矩陣分解等運(yùn)算#張量運(yùn)算：矩陣運(yùn)算#矩陣轉(zhuǎn)置

A_trans=tf.linalg.matrix_transpose(A)

print(A_trans)

#矩陣點(diǎn)積

print(tf.linalg.matmul(B,A_trans))激活函數(shù)relu函數(shù)（RectifiedLinearUnit），即線性整流函數(shù)。我們可以使用matplotlib畫(huà)出函數(shù)曲線，代碼及圖形如下：#生成x軸數(shù)據(jù)，-10到10之間平均分布的100個(gè)數(shù)x=np.linspace(-10,10,100)

fig,ax=plt.subplots()#創(chuàng)建圖形對(duì)象及坐標(biāo)系

ax.plot(x,keras.activations.relu(x),label='relu')#設(shè)置x軸及y軸的數(shù)據(jù)

ax.set_xlabel('xlabel')#設(shè)置x軸標(biāo)簽

ax.set_ylabel('ylabel')#設(shè)置y軸標(biāo)簽

ax.set_title("ReluPlot")#設(shè)置標(biāo)題

ax.legend()#顯示圖例激活函數(shù)sigmoid函數(shù)也叫Logistic函數(shù)，取值范圍為(0,1)，它可以將一個(gè)實(shí)數(shù)映射到(0,1)的區(qū)間，可以用來(lái)做二分類。我們可以使用matplotlib畫(huà)出函數(shù)曲線，代碼及圖形如下：#生成x軸數(shù)據(jù)，-10到10之間平均分布的100個(gè)數(shù)x=np.linspace(-10,10,100)

fig,ax=plt.subplots()#創(chuàng)建圖形對(duì)象及坐標(biāo)系

#設(shè)置x軸及y軸的數(shù)據(jù)

ax.plot(x,keras.activations.sigmoid(x),label='sigmoid')

ax.set_xlabel('xlabel')#設(shè)置x軸標(biāo)簽

ax.set_ylabel('ylabel')#設(shè)置y軸標(biāo)簽

ax.set_title("SigmoidPlot")#設(shè)置標(biāo)題

ax.legend()#顯示圖例激活函數(shù)softmax函數(shù)又稱歸一化指數(shù)函數(shù)，能將一個(gè)含任意實(shí)數(shù)的K維向量z“壓縮”到另一個(gè)K維實(shí)向量σ(z)中，使得每一個(gè)元素的范圍都在(0,1)之間，并且所有元素的和為1。該函數(shù)多用于多分類問(wèn)題中，為每個(gè)輸出分類的結(jié)果都賦予一個(gè)概率值，表示屬于每個(gè)類別的可能性。層卷積層Convolutionlayers常用在圖像數(shù)據(jù)中，對(duì)二維輸入進(jìn)行滑動(dòng)窗卷積。tf.keras.layers.convolutional.Conv2D( filters,kernel_size,strides=(1,1),padding="valid",data_format=None,dilation_rate=(1,1),groups=1,activation=None,use_bias=True,kernel_initializer="glorot_uniform",bias_initializer="zeros",kernel_regularizer=None,bias_regularizer=None,activity_regularizer=None,kernel_constraint=None,bias_constraint=None)參數(shù)名說(shuō)明filters卷積核的數(shù)目（即輸出的維度），例如：16kernel_size卷積核的寬度和長(zhǎng)度。如為單個(gè)整數(shù)，則表示各個(gè)維度長(zhǎng)度相同。例如：3strides卷積的步長(zhǎng)。如為單個(gè)整數(shù)，則表示在各個(gè)維度的相同步長(zhǎng)。padding補(bǔ)0策略，取值為valid、same。valid表示不補(bǔ)0；same代表保留邊界處的卷積結(jié)果，這樣輸出shape與輸入shape相同。activation激活函數(shù)。如果不指定該參數(shù)，將不會(huì)使用任何激活函數(shù)。data_format輸入張量的維度順序，取值為channels_last（默認(rèn)值）、channels_first。層池化層Poolinglayers以2維最大值池化層（MaxPooling2Dlayer）為例，該層常跟在卷積層后，對(duì)卷積層的輸出進(jìn)行采樣，減少需要計(jì)算的元素。tf.keras.layers.MaxPooling2D(pool_size=(2,2),strides=None,padding="valid",data_format=None)參數(shù)名說(shuō)明pool_size整數(shù)或長(zhǎng)為2的整數(shù)tuple，代表在兩個(gè)方向（豎直，水平）上的下采樣因子，如取（2，2）將使圖片在兩個(gè)維度上均變?yōu)樵L(zhǎng)的一半。為整數(shù)意為各個(gè)維度值相同且為該數(shù)字。strides整數(shù)或長(zhǎng)為2的整數(shù)tuple，或者None，步長(zhǎng)值。padding補(bǔ)0策略，取值為valid、same。valid表示不補(bǔ)0；same代表在邊界處補(bǔ)0，這樣輸出shape與輸入shape相同。data_format輸入張量的維度順序，取值為channels_last（默認(rèn)值）、channels_first。層壓平層（Flattenlayer）用來(lái)將輸入壓平，即把多維的輸入一維化，常用在從卷積層到全連接層的過(guò)渡。Flatten不影響batch的大小。參數(shù)名說(shuō)明data_format輸入張量的維度順序，取值為channels_last（默認(rèn)值）、channels_first。tf.keras.layers.Flatten(data_format=None)層丟棄層（Dropoutlayer）將在訓(xùn)練過(guò)程中每次更新參數(shù)時(shí)按一定概率隨機(jī)斷開(kāi)輸入神經(jīng)元，用于防止過(guò)擬合。tf.keras.layers.core.Dropout(rate,noise_shape=None,seed=None)參數(shù)名說(shuō)明rate0~1之間的浮點(diǎn)數(shù)，控制需要斷開(kāi)的神經(jīng)元的比例層丟棄層（Dropoutlayer）將在訓(xùn)練過(guò)程中每次更新參數(shù)時(shí)按一定概率隨機(jī)斷開(kāi)輸入神經(jīng)元，用于防止過(guò)擬合。tf.keras.layers.core.Dropout(rate,noise_shape=None,seed=None)參數(shù)名說(shuō)明rate0~1之間的浮點(diǎn)數(shù)，控制需要斷開(kāi)的神經(jīng)元的比例模型創(chuàng)建模型最簡(jiǎn)單的模型是Sequential順序模型，它由多個(gè)網(wǎng)絡(luò)層線性堆疊。定義tf.keras.Sequential()示例#使用Sequential創(chuàng)建包含3個(gè)層的順序模型model=keras.Sequential(

[

layers.Dense(2,activation="relu",name="layer1"),

layers.Dense(3,activation="relu",name="layer2"),

layers.Dense(4,name="layer3"),

]

)

#調(diào)用模型

x=tf.ones((3,3))

y=model(x)模型編譯模型在完成了模型的構(gòu)建后,可以使用compile方法來(lái)編譯模型，這一步需要配置優(yōu)化器、損失函數(shù)。定義Mpile(optimizer="rmsprop",loss=None,metrics=None,loss_weights=None,weighted_metrics=None,run_eagerly=None,steps_per_execution=None

)參數(shù)名說(shuō)明optimizer優(yōu)化器名稱或優(yōu)化器類實(shí)例，見(jiàn)tf.keras.optimizers。可選優(yōu)化函數(shù)如下：SGD、RMSprop、Adam、AdadeltaAdagrad、Adamax、Nadam、Ftrl。loss損失函數(shù)名稱、損失函數(shù)或tf.keras.losses.Loss類實(shí)例?？蛇x損失函數(shù)如下：概率損失函數(shù)binary_crossentropy、categorical_crossentropy、sparse_categorical_crossentropy、poisson、kl_divergence回歸損失函數(shù)mean_squared_error、mean_absolute_error、mean_absolute_percentage_error、mean_squared_logarithmic_error、cosine_similarity、huber、log_cosh鉸鏈損失函數(shù)hinge、squared_hinge、categorical_hinge模型定義Model.fit(

x=None,y=None,batch_size=None,epochs=1,verbose=1,callbacks=None,alidation_split=0.0,validation_data=None,shuffle=True,lass_weight=None,sample_weight=None,initial_epoch=0,teps_per_epoch=None,validation_steps=None,validation_batch_size=None