深度學(xué)習(xí)基礎(chǔ)與實(shí)踐 課件 單元八 基于LSTM的數(shù)據(jù)預(yù)測(cè)

數(shù)據(jù)預(yù)測(cè)數(shù)據(jù)預(yù)測(cè)概述數(shù)據(jù)預(yù)測(cè)

數(shù)據(jù)預(yù)測(cè)的優(yōu)勢(shì)體現(xiàn)在它把一個(gè)非常困難的預(yù)測(cè)問題，轉(zhuǎn)化為一個(gè)相對(duì)簡(jiǎn)單的描述問題，而這是傳統(tǒng)小數(shù)據(jù)集根本無法企及的。

從預(yù)測(cè)的角度看，大數(shù)據(jù)預(yù)測(cè)的目的不僅僅是得到簡(jiǎn)單、客觀的現(xiàn)實(shí)業(yè)務(wù)結(jié)論，更重要的是用于幫助企業(yè)經(jīng)營(yíng)決策，利用收集的資料引導(dǎo)規(guī)劃，開發(fā)更大的消費(fèi)力量。其基本原理是:

一方面承認(rèn)事物發(fā)展的延續(xù)性，運(yùn)用過去的時(shí)間序列數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，推測(cè)出事物的發(fā)展趨勢(shì)；

另一方面充分考慮到由于偶然因素影響而產(chǎn)生的隨機(jī)性，為了消除隨機(jī)波動(dòng)產(chǎn)生的影響，利用歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，并對(duì)數(shù)據(jù)進(jìn)行適當(dāng)處理，進(jìn)行趨勢(shì)預(yù)測(cè)。01字序列，按時(shí)間先后順序排到所形成的數(shù)列。

時(shí)間序列預(yù)測(cè)法就是通過編制和分析時(shí)間序列，根據(jù)時(shí)間序列所反映出來的發(fā)展過程、方向和趨勢(shì)，進(jìn)行類推或延伸，借以預(yù)測(cè)下一段時(shí)間或以后若干年內(nèi)可能達(dá)到的水平。 內(nèi)容包括：收集與整理某種社會(huì)現(xiàn)象的歷史資料；對(duì)這些資料進(jìn)行檢查鑒別，排成數(shù)列；

分析時(shí)間數(shù)列，從中尋找該社會(huì)現(xiàn)象隨時(shí)間變化而變化的規(guī)律，得出一定的模式；以此模式去預(yù)測(cè)該社會(huì)現(xiàn)象將來的情況。數(shù)據(jù)預(yù)測(cè)概述時(shí)間序列預(yù)測(cè)法

時(shí)間序列預(yù)測(cè)法是數(shù)據(jù)預(yù)測(cè)的一種方法，屬于回歸預(yù)測(cè)方法，是定量預(yù)測(cè)。

時(shí)間序列，也叫時(shí)間數(shù)列、歷史復(fù)數(shù)或動(dòng)態(tài)數(shù)列。

它是將某種統(tǒng)計(jì)指標(biāo)的數(shù)值，或者是一種現(xiàn)象在不同時(shí)間上的觀察值排列而成的一組數(shù)01

第三步求時(shí)間序列的長(zhǎng)期趨勢(shì)(T)季節(jié)變動(dòng)(S)和不規(guī)則變動(dòng)(I)的值，并選定近似的數(shù)學(xué)模式來代表它們。

第四步利用時(shí)間序列資料求出長(zhǎng)期趨勢(shì)、季節(jié)變動(dòng)和不規(guī)則變動(dòng)的數(shù)學(xué)模型后，就可以

利用它來預(yù)測(cè)未來的長(zhǎng)期趨勢(shì)值T和季節(jié)變動(dòng)值S，在可能的情況下預(yù)測(cè)不規(guī)則變動(dòng)值I。然后用以下模式計(jì)算出未來的時(shí)間序列的預(yù)測(cè)值Y：加法模式T+S+I=Y乘法模式T×S×I=Y數(shù)據(jù)預(yù)測(cè)概述時(shí)間序列預(yù)測(cè)法的步驟

第一步收集歷史資料，加以整理，編成時(shí)間序列，并根據(jù)時(shí)間序列繪成統(tǒng)計(jì)圖。傳統(tǒng)的分類方法是按各種因素的特點(diǎn)或影響效果分為四大類：長(zhǎng)期趨勢(shì)；季節(jié)變動(dòng)；循環(huán)變動(dòng)；不規(guī)則變動(dòng)。

第二步分析時(shí)間序列。01數(shù)據(jù)預(yù)測(cè)概述時(shí)間序列數(shù)據(jù)特點(diǎn)

時(shí)間序列預(yù)測(cè)法是根據(jù)過去的變化趨勢(shì)預(yù)測(cè)未來的發(fā)展,它的前提是假定事物的過去延續(xù)到未來。時(shí)間序列分析,正是根據(jù)客觀事物發(fā)展的連續(xù)規(guī)律性,運(yùn)用過去的歷史數(shù)據(jù),通過統(tǒng)計(jì)分析,進(jìn)一步推測(cè)未來的發(fā)展趨勢(shì)。

時(shí)間序列數(shù)據(jù)變動(dòng)存在著規(guī)律性與不規(guī)律性。時(shí)間序列中的每個(gè)觀察值大小,是影響變化的各種不同因素在同一時(shí)刻發(fā)生作用的綜合結(jié)果。從這些影響因素發(fā)生作用的大小和方向變化的某個(gè)變量隨著時(shí)間進(jìn)展或自變量變化,呈現(xiàn)一種比較緩慢而長(zhǎng)期的持續(xù)上升、下降、停留的同性質(zhì)變動(dòng)趨向,但變動(dòng)幅度可能不相等。某因素由于外部影響隨著自然季節(jié)的交替出現(xiàn)高峰與低谷的規(guī)律。個(gè)別為隨機(jī)變動(dòng),整體呈統(tǒng)計(jì)規(guī)律。實(shí)際變化情況是幾種變動(dòng)的疊加或組合。預(yù)測(cè)時(shí)設(shè)法過濾除去不規(guī)則變動(dòng),突出反映趨勢(shì)性和周期性變動(dòng)。時(shí)間特性來看，這些因素造成的時(shí)間序列數(shù)據(jù)的變動(dòng)分為四種類型。01

綜合性

隨機(jī)性

趨勢(shì)性

周期性

相關(guān)方法介紹時(shí)間序列預(yù)測(cè)法分類時(shí)間序列預(yù)測(cè)法可用于短期、中期和長(zhǎng)期預(yù)測(cè)。時(shí)間序列預(yù)測(cè)方法有：

周期因子法

線性回歸

傳統(tǒng)時(shí)序建模方法

時(shí)間序列分解

XGBoost/LSTM/時(shí)間卷積網(wǎng)絡(luò)

Seq2seq(attention_based_model)

Facebook-prophet

深度學(xué)習(xí)網(wǎng)絡(luò)(CNN+RNN+Attention)

時(shí)間序列轉(zhuǎn)化為圖像使用卷積神經(jīng)網(wǎng)絡(luò)模型分析02提取時(shí)間序列的周期性特征進(jìn)行預(yù)測(cè)，觀察序列，當(dāng)序列存在周期性時(shí)，可以用周期因子法做為baseline。如：在天池大數(shù)據(jù)競(jìng)賽-資金流入流出預(yù)測(cè)場(chǎng)景中，每天都涉及大量的資金流入和流出，資金管理壓力會(huì)非常大。在既保證資金流動(dòng)性風(fēng)險(xiǎn)最小，又滿足日常業(yè)務(wù)運(yùn)轉(zhuǎn)的情況下，精準(zhǔn)地預(yù)測(cè)資金的流入流出情況變得尤為重要。根據(jù)歷史數(shù)據(jù)計(jì)算單位數(shù)據(jù)與周期性均值的比例，如計(jì)算一周客流量的平均值，再用每一天的客流量除以均值。一般由最后的一個(gè)周期的數(shù)據(jù)計(jì)算得出，如最后一周的客流量均值。預(yù)測(cè)結(jié)果一般為下一個(gè)周期的數(shù)據(jù)，如下一周的客流量。https://tianchi.aliyun.com/competition/entrance/231573/introduction?spm=5176.12281949.1003.6.493e24486tbptc計(jì)算周期因子factors預(yù)測(cè)=base*factors相關(guān)方法介紹計(jì)算base02周期因子法[1,0,0,0,0,0,0]，星期二為[0,1,0,0,0,0,0]……將節(jié)假日轉(zhuǎn)化為0-1變量，可簡(jiǎn)單分為兩類，“有假日”-“無假日”，獨(dú)熱編碼共2個(gè)變量；或賦予不同編碼值，如區(qū)分國(guó)慶、春節(jié)、勞動(dòng)節(jié)等使用1、2、3表示。將月初轉(zhuǎn)化為0-1變量，簡(jiǎn)單分兩類表示為“是月初”-“非月初”，共2個(gè)特征。類似的月中、月末也可以轉(zhuǎn)化為0-1變量。(啞變量：是指使用一些數(shù)值上虛擬的值去代替無法直接納入統(tǒng)計(jì)分析的變量，即無法量化的變量，如性別，可用0表示男，1表示女，但實(shí)際的01并沒有數(shù)值01意義。)相關(guān)方法介紹線性回歸

--利用時(shí)間特征做線性回歸提取時(shí)間的周期性特點(diǎn)做為特征，此時(shí)訓(xùn)練集每條樣本為“時(shí)間特征->目標(biāo)值”，時(shí)間序列的依賴關(guān)系被剔除，不需要按照順序截取訓(xùn)練樣本。常見是將時(shí)間用0-1啞變量表達(dá)，有以下若干種特征:將

星

期

轉(zhuǎn)

化

為

了

0-1

變

量

，

從

周

一

至

周

天

，

獨(dú)

熱

編

碼

共

7

個(gè)

向

量

，

如

星

期

一

為02而變化的序列)，稱這個(gè)非平穩(wěn)序列為差分平穩(wěn)序列。對(duì)差分序列就可以使用ARIMA(autoregressive

integration

moving

average

model)模型進(jìn)行擬合，ARIMA模型一共有三個(gè)參數(shù)(p,，p，q根據(jù)所給數(shù)據(jù)求自相關(guān)函數(shù)和偏相關(guān)函數(shù)確定，d為差分階數(shù)。差分法一般有一階差分，二階差分等，所謂差分就是用后一個(gè)數(shù)去減前面一個(gè)數(shù)得到的值。差分方法可消除正相關(guān)但同時(shí)引入負(fù)相關(guān)。AR(自動(dòng)回歸)項(xiàng)可消除正相關(guān)，MA(滑動(dòng)平均)項(xiàng)消除負(fù)相關(guān)。AR項(xiàng)和MA項(xiàng)作用會(huì)相互抵消，通常包含兩種要素時(shí)可嘗試減少某項(xiàng)，避免過擬合。相關(guān)方法介紹傳統(tǒng)時(shí)序建模方法

–ARMA/ARIMA等線性模型ARMA(auto

regressive

moving

average

model)自回歸滑動(dòng)平均模型，可細(xì)分為AR模型(autoregressionmodel)、MA模型(movingaveragemodel)和ARMA模型(autoregression

movingaveragemodel)三大類。許多非平穩(wěn)序列(在不同的時(shí)間點(diǎn)上隨機(jī)變化)差分后會(huì)顯示出平穩(wěn)序列的性質(zhì)(不隨時(shí)間變化02d,q)T：指預(yù)測(cè)變量隨時(shí)間變化朝著一定方向呈現(xiàn)出持續(xù)穩(wěn)定地上升、下降或平穩(wěn)的趨勢(shì)。S：指預(yù)測(cè)變量受季節(jié)性影響，按照固定周期呈現(xiàn)周期波動(dòng)變化。C：指預(yù)測(cè)變量按不固定的周期呈現(xiàn)波動(dòng)變化。I：指預(yù)測(cè)變量受偶然因素的影響呈現(xiàn)出不規(guī)則的波動(dòng)變化。加法模式：綜合考慮多個(gè)部分T+S+C+I乘法模式：綜合考慮多個(gè)部分T*S*C*I相關(guān)方法介紹時(shí)間序列分解使用加法模式或乘法模式將原始序列拆分為4部分。季節(jié)變動(dòng)S(顯示周期、固定幅度、長(zhǎng)度的周期波動(dòng))長(zhǎng)期趨勢(shì)變動(dòng)T循環(huán)變動(dòng)C不規(guī)則變動(dòng)I02。XGBoost是Boosting算法的其中一種，Boosting算法的思想是將許多弱分類器集成在一起，形成一個(gè)強(qiáng)分類器。因?yàn)閄GBoost是一種提升樹模型，所以它是將許多樹模型集成在一起，形成一個(gè)很強(qiáng)的分類器。Long

Short

Term

Memory

networks(以下簡(jiǎn)稱LSTMs)，一種特殊的RNN(遞歸神經(jīng)網(wǎng)絡(luò))網(wǎng)絡(luò)，該網(wǎng)絡(luò)設(shè)計(jì)出來是為了解決長(zhǎng)依賴問題。時(shí)間卷積網(wǎng)絡(luò)是一種能夠處理時(shí)間序列的網(wǎng)絡(luò)結(jié)構(gòu)，能夠解決LSTM的并發(fā)問題。相關(guān)方法介紹XGBoost/LSTM/時(shí)間卷積網(wǎng)絡(luò)從特征工程著手，使用時(shí)間滑窗改變數(shù)據(jù)的組織方式，利用XGBoost、LSTM模型、時(shí)間卷積網(wǎng)絡(luò)等方法可進(jìn)行時(shí)間序列的分類。特征工程指的是把原始數(shù)據(jù)轉(zhuǎn)變?yōu)槟Ｐ偷挠?xùn)練數(shù)據(jù)的過程。它的目的就是獲取更好的訓(xùn)練數(shù)據(jù)特征，使得機(jī)器學(xué)習(xí)模型精度逼近上限。它一般包括特征構(gòu)建、特征提取、特征選擇三個(gè)部02分相關(guān)方法介紹Seq2seq

(attention_based_model)Seq2seq是一個(gè)Encoder–Decoder結(jié)構(gòu)的網(wǎng)絡(luò)，它的輸入是一個(gè)序列，Encoder中將一個(gè)可變長(zhǎng)度的信號(hào)序列變?yōu)楣潭ㄩL(zhǎng)度的向量表達(dá)，Decoder量變成可變長(zhǎng)度的目標(biāo)信號(hào)序列。常用于機(jī)器翻譯、文本摘要、閱讀理解、語音識(shí)別等。輸出也是一個(gè)序列，將這個(gè)固定長(zhǎng)度的向Encoder–Decoder結(jié)構(gòu)如圖所示：02相關(guān)方法介紹Facebook-prophetFacebook所提供的prophet算法不僅可以處理時(shí)間序列存在一些異常值的情況，也可以處理部分缺失值的情形，還能夠幾乎全自動(dòng)地預(yù)測(cè)時(shí)間序列未來的走勢(shì)。prophet算法是基于時(shí)間序列分解和機(jī)器學(xué)習(xí)的擬合來做的，其中在擬合模型的時(shí)候使用了PyStan這個(gè)開源工具，因此能夠在較快的時(shí)間內(nèi)得到需要預(yù)測(cè)的結(jié)果。prophet同時(shí)提供了R語言和Python語言的接口。從整體的介紹來看，如果是一般的商業(yè)分析或者數(shù)據(jù)分析的需求，都可以嘗試使用這個(gè)開源算法來預(yù)測(cè)未來時(shí)間序列的走勢(shì)。prophet所做的事情就是：

輸入已知的時(shí)間序列的時(shí)間戳和相應(yīng)的值；

輸入需要預(yù)測(cè)的時(shí)間序列的長(zhǎng)度；

輸出未來的時(shí)間序列走勢(shì)。

輸出結(jié)果可以提供必要的統(tǒng)計(jì)指標(biāo)，包括擬合曲線，上界和下界等。02相關(guān)方法介紹深度學(xué)習(xí)網(wǎng)絡(luò)

(CNN+RNN+Attention)深度學(xué)習(xí)網(wǎng)絡(luò)(CNN+RNN+Attention)作用各不相同互相配合。主要設(shè)計(jì)思想：

CNN捕捉短期局部依賴關(guān)系；

RNN使用LSTM或GRU捕捉長(zhǎng)期宏觀依賴關(guān)系；

Attention為重要時(shí)間段或變量加權(quán)，調(diào)整時(shí)間周期；

AR捕捉數(shù)據(jù)尺度變化。難點(diǎn)：attention注意力機(jī)制的原理及實(shí)現(xiàn)，包括encoder-decodermulti-head

attention等。attention,self

attention,02相關(guān)方法介紹時(shí)間序列轉(zhuǎn)化為圖像使用卷積神經(jīng)網(wǎng)絡(luò)模型分析GramianAngularField(格拉姆角場(chǎng)GAF)方法描述：將笛卡爾坐標(biāo)系下的一維時(shí)間序列，轉(zhuǎn)化為極坐標(biāo)系表示，再使用三角函數(shù)生成GAF矩陣。計(jì)算過程：數(shù)值縮放：將笛卡爾坐標(biāo)系下的時(shí)間序列縮放到[0,1]或[-1,1]區(qū)間極坐標(biāo)轉(zhuǎn)換：使用坐標(biāo)變換公式，將笛卡爾坐標(biāo)系序列轉(zhuǎn)化為極坐標(biāo)系時(shí)間序列角度和/差的三角函數(shù)變換：若使用兩角和的cos函數(shù)則得到GASF(Gramian

AngularSummation

Field)，若使用兩角差的cos函數(shù)則得到GADF(GramianAngularDifferenceField)。02

每個(gè)序列產(chǎn)生唯一的極坐標(biāo)映射圖；

可通過GAF矩陣的主對(duì)角線，恢復(fù)笛卡爾坐標(biāo)下的原始時(shí)間序列。缺點(diǎn)：當(dāng)序列長(zhǎng)度為n時(shí)，產(chǎn)生的GAF矩陣大小為n*n，數(shù)據(jù)量會(huì)隨序列長(zhǎng)度急劇增加。因此，對(duì)于長(zhǎng)時(shí)間序列需要分段處理，保留序列趨勢(shì)同時(shí)減少序列大小。相關(guān)方法介紹時(shí)間序列轉(zhuǎn)化為圖像使用卷積神經(jīng)網(wǎng)絡(luò)模型分析GramianAngular

Field(格拉姆角場(chǎng)GAF)特點(diǎn)：

極坐標(biāo)中半徑表示時(shí)間戳，角度表示時(shí)間序列數(shù)值；

通過半徑r保持序列的時(shí)間依賴性；

極坐標(biāo)保留時(shí)間關(guān)系的絕對(duì)值；02相關(guān)方法介紹時(shí)間序列預(yù)測(cè)應(yīng)用場(chǎng)景時(shí)間序列預(yù)測(cè)可采用的方法比較多，對(duì)應(yīng)于不同的場(chǎng)景中，針對(duì)不同的時(shí)間序列變化規(guī)律，以及不同的特點(diǎn)，采用不同方法進(jìn)行求解，在預(yù)測(cè)上能夠得到更優(yōu)的解?？捎糜谏畹母鱾€(gè)場(chǎng)景，如：分析生產(chǎn)、銷售、原材料儲(chǔ)備、預(yù)計(jì)資金周轉(zhuǎn)需要量等方面的經(jīng)濟(jì)事物預(yù)測(cè)，對(duì)產(chǎn)品市場(chǎng)壽命預(yù)測(cè)等。02相關(guān)方法介紹思考題自行了解關(guān)于時(shí)間序列問題可應(yīng)用的場(chǎng)景還有哪些？是否都能用以上方法解決？02謝謝LSTM神經(jīng)網(wǎng)絡(luò)RNN簡(jiǎn)介及問題01我們?cè)陂喿x文章時(shí)，會(huì)根據(jù)之前的信息來理解下面的文字。在理解當(dāng)前文字的時(shí)候，并不會(huì)脫離當(dāng)前的語境，孤立地理解當(dāng)前文字的含義。卷積神經(jīng)網(wǎng)絡(luò)相當(dāng)于人類的視覺，但是它并沒有攜帶記憶的能力，所以它只能處理一種特定的視覺任務(wù)，沒有辦法根據(jù)以前的記憶來處理新的任務(wù)。也就是說，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不能表達(dá)語言等時(shí)序數(shù)據(jù)中的這種先后繼啟的先驗(yàn)知識(shí)。比如你想對(duì)電影中的某個(gè)片段去做事件分類，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是很難通過利用前面的事件信息來對(duì)后面事件進(jìn)行分類。而循環(huán)神經(jīng)網(wǎng)絡(luò)（下面簡(jiǎn)稱RNNs）可以通過不停的將信息循環(huán)操作，保證信息持續(xù)存在，從而解決上述問題。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork,RNN)RNN簡(jiǎn)介及問題01與之前介紹的多層感知機(jī)和能有效處理空間信息的卷積神經(jīng)網(wǎng)絡(luò)不同，循環(huán)神經(jīng)網(wǎng)絡(luò)是為了更好的處理時(shí)序信息而設(shè)計(jì)。它引?狀態(tài)變量來存儲(chǔ)過去的信息，并用其與當(dāng)前的輸?共同決定當(dāng)前的輸出。循環(huán)神經(jīng)網(wǎng)絡(luò)常用于處理序列數(shù)據(jù)，如?段文字或聲音、購(gòu)物或觀影的順序，甚?是圖像中的?行或?列像素。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)有著極為?泛的實(shí)際應(yīng)用，如微信的語音轉(zhuǎn)文字功能，輸入一段語音，就能生成相應(yīng)的文本。另外，還有DNA序列分析，視頻行為識(shí)別，實(shí)體名字識(shí)別等。循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork,RNN)圖片來自/wuliytTaotao/archive/2018/08/22/9512963.htmlRNN簡(jiǎn)介及問題01循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrentneuralnetwork,RNN)圖片來自/article/25206.html

由公式可以看出，St是一個(gè)神經(jīng)元的輸出值，此神經(jīng)元有2個(gè)輸入端（Xt和St-1），而輸出值Ot是另一個(gè)神經(jīng)元的輸出，此神經(jīng)元只有一個(gè)輸入（St）。也就是說St的值不僅取決于本級(jí)輸入Xt還取決于前一級(jí)輸出St-1。而輸出值Ot是由St決定的，所以，輸出值就由輸入信號(hào)和前一級(jí)的輸出信號(hào)共同決定。RNN簡(jiǎn)介及問題01RNN網(wǎng)絡(luò)雖然能表達(dá)序列中輸入數(shù)據(jù)的先后繼啟關(guān)系，同時(shí)，其循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)不需要限制輸入序列的長(zhǎng)度，但其存在梯度消失的問題。在進(jìn)行網(wǎng)絡(luò)參數(shù)更新時(shí)，反向傳播算法需要用梯度來計(jì)算參數(shù)更新值的大小，在梯度下降算法中講過，梯度是通過鏈?zhǔn)椒▌t來求導(dǎo)，在RNN求導(dǎo)鏈的中間N個(gè)節(jié)點(diǎn)的導(dǎo)數(shù)都接近0，從而使總的導(dǎo)數(shù)就趨近0。Bengio等人認(rèn)為RNN必須進(jìn)入?yún)?shù)空間中的梯度消失區(qū)域，并且當(dāng)增加用以捕獲依賴關(guān)系的網(wǎng)絡(luò)跨度，基于梯度的優(yōu)化變得越來越困難。為解決上述問題，Hochreiter和Schmidhuber于1997年提出LSTM網(wǎng)絡(luò)。02長(zhǎng)短期記憶LSTM（LongShort-TermMemory）

長(zhǎng)短期記憶（Longshort-termmemory,LSTM）與簡(jiǎn)單RNN網(wǎng)絡(luò)對(duì)比，可以看出，其總體框架相同，所以，LSTM是一種結(jié)構(gòu)相對(duì)復(fù)雜的RNN。但LSTM與簡(jiǎn)單RNN中單個(gè)節(jié)點(diǎn)內(nèi)部的結(jié)構(gòu)不同。相對(duì)簡(jiǎn)單的RNN網(wǎng)絡(luò)，LSTM單元的參數(shù)更多，LSTM單元的結(jié)構(gòu)也更復(fù)雜。但它解決了RNN中存在的梯度消失和梯度爆炸問題。由于獨(dú)特的設(shè)計(jì)結(jié)構(gòu)，LSTM適合于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲非常長(zhǎng)的重要事件。LSTM長(zhǎng)短期記憶簡(jiǎn)單RNN網(wǎng)絡(luò)結(jié)構(gòu)LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖片來源/newslist-3/35602246.htm02長(zhǎng)短期記憶LSTM（LongShort-TermMemory）

前面已經(jīng)介紹過生物神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程主要通過強(qiáng)化和遺忘以前的內(nèi)容可以來完成。也就是可以通過本次輸入重復(fù)以前的內(nèi)容，從而強(qiáng)化以前內(nèi)容的作用；也可以是通過本次輸入與以前不同的內(nèi)容，從而將以前內(nèi)容遺忘。

在人類學(xué)習(xí)過程相同，相對(duì)激活機(jī)制，遺忘機(jī)制更重要。根據(jù)谷歌的測(cè)試同樣表明，LSTM中最重要的是遺忘門，其次是輸入門，最次是輸出門。為此，與簡(jiǎn)單RNN不同，LSTM網(wǎng)絡(luò)中引入了生物神經(jīng)網(wǎng)絡(luò)中的遺忘機(jī)制。 RNN的改進(jìn)版本有許多種，門循環(huán)單元（GRU（GatedRecurrentUnit））就是其中之一，它只有兩個(gè)門：更新門和重置門。RNN的另一改進(jìn)版為L(zhǎng)STM單元，它一般都包含3個(gè)門，根據(jù)功能不同，分別將其稱為輸入門（Inputgate）、輸出門（Outputgate）和遺忘門（Forgetgate）。LSTM長(zhǎng)短期記憶02圖片來源/infodetail-3297248.htmlLSTM長(zhǎng)短期記憶LSTM單元

遺忘門(在圖中用函數(shù)??(t)表示)，它的作用是要決定從記憶單元c中是否丟棄某些信息。C是以前的內(nèi)容和本次內(nèi)容疊加的結(jié)果，如果兩者符號(hào)相同就被加強(qiáng)，如果符號(hào)相反就被減弱。遺忘門的計(jì)算方法可以看出遺忘門就是由一個(gè)普通的神經(jīng)元構(gòu)成的。LSTM單元遺忘門02圖片來源/infodetail-3297248.htmlLSTM長(zhǎng)短期記憶LSTM單元

LSTM單元輸入門02圖片來源/infodetail-3297248.htmlLSTM長(zhǎng)短期記憶LSTM單元

輸出門(在圖中用函數(shù)o(t)表示)，它的作用是要決定從輸出信號(hào)中是否丟棄某些信息。與遺忘門一樣，輸出門也是由神經(jīng)元構(gòu)成。輸出門控制輸出是通過控制本級(jí)C來實(shí)現(xiàn)的，h是本級(jí)的最終輸出。LSTM單元輸出門02門循環(huán)單元GRU（GatedRecurrentUnit）

門循環(huán)單元GRU是RNN的另一種變體，它與LSTM單元結(jié)構(gòu)類似，但只有兩個(gè)控制門，每個(gè)門都是通過神經(jīng)元來實(shí)現(xiàn)的。另外，它對(duì)信號(hào)的控制也是通過乘法來實(shí)現(xiàn)。 GRU和LSTM兩者的性能在很多任務(wù)上不分上下。GRU參數(shù)相對(duì)少更容易收斂，但是在數(shù)據(jù)集較大的情況下，LSTM性能更好。LSTM長(zhǎng)短期記憶LSTM實(shí)踐031、準(zhǔn)備數(shù)據(jù)集如右圖可以看到，Month表示某一個(gè)航班運(yùn)行的月份，一個(gè)月份有多個(gè)航班同時(shí)運(yùn)行，而Internationalairlinepassengers表示航班的旅客數(shù)量。LSTM實(shí)踐032、導(dǎo)入所需要的包3、加載數(shù)據(jù)進(jìn)行預(yù)處理

導(dǎo)入numpy數(shù)組包、pandas數(shù)據(jù)處理包、matplotlib繪圖包、torch框架、nn網(wǎng)絡(luò)、variable變量相關(guān)。加載數(shù)據(jù)，并進(jìn)行數(shù)據(jù)清洗整理，轉(zhuǎn)換數(shù)據(jù)格式。LSTM實(shí)踐034、將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集