RNN+LSTM學習資料課件

1、12021/3/27做預(yù)測不只依賴于input,還依賴于之前的一部分信息,會把它存在memory變更的只是輸入或者memory自然語言處理任務(wù)中,輸入和輸出之間不獨立有些任務(wù)用人工神經(jīng)網(wǎng)絡(luò)、CNN解決不了22021/3/27RNN的結(jié)構(gòu)為了體現(xiàn)RNN的循環(huán)性,可以將多層fold起來,每個部分看做一個cell,處理過程一模一樣,32021/3/27我是中國人背景:要完成一個任務(wù)(Language model):一句話知道出現(xiàn)的若干個詞情況下,出現(xiàn)下一個詞會出現(xiàn)什么。（有一個序列,在這個序列前n個element知道情況下去推斷下一個element）是中國人序列在當前step的輸入42021/3/2

2、7矩陣St維度 容量有限,文本分類,在當前任何部分都可以做總結(jié),輸出結(jié)果,但是不一定準確。任務(wù)是需要看完整個文本給出一個結(jié)果。52021/3/27兩個memory做拼接不一樣的W和V讓它捕捉更多信息62021/3/27Deep:五年級的知識變難了,一周內(nèi)掌握不了 多思考一下T-1 T T+1 T+2數(shù)列 三角函數(shù) 解析幾何 排列組合做完三輪復習的知識解這道題同一章前一輪復習 同一輪復習前一章72021/3/27BPTT(BackPropagation Through Time) 基于時間的反向傳播（調(diào)參）82021/3/27Softmax的分類器 預(yù)測4W個詞中的哪一個每一個時間點都有一個輸出

3、 每個輸出都可以去計算loss完成整個句子預(yù)測:沿著時間軸把每個位置的 loss加在一起梯度下降,使loss值最小 要求我們?nèi)デ髄ossfunction對于W的偏導交叉熵損失 cross entropy loss求偏導的過程在這一層完成不了,必須用BPTT,不能用BPBPTT:沿著時間軸往前追溯我們的目標是計算誤差關(guān)于參數(shù)U、V和W的梯度,然后使用梯度下降法學習出好的參數(shù)。92021/3/27Softmax的分類器 預(yù)測4W個詞中的哪一個交叉熵損失 cross entropy losst時刻上正確的詞預(yù)測出來的詞102021/3/27112021/3/27RNN與圖像描述AlexNet來抽取特

4、征做一次前向運算抽取4096*1的特征4096*1的特征向量文本輸入 記憶 圖片信息只在第一步做,后面的每次更新都不再看圖片了122021/3/27最后一次循環(huán)輸出end token132021/3/27142021/3/27RNN可以被訓練來,通過前面的單詞來預(yù)測接下來的單詞。實際上,相關(guān)信息和需要該信息的位置之間的距離可能非常的遠。不幸的是,隨著距離的增大,RNN對于如何將這樣的信息連接起來無能為力。152021/3/27162021/3/27非線性處理模塊逐點運算信息傳播方向信息拼接信息復制172021/3/27T-1時刻的記憶到現(xiàn)在的記憶 在傳送帶上往前傳 發(fā)生信息的交互 可以取東西

5、也可以放東西上去Cell State182021/3/27做記憶的變更:要把這部分記憶存下去192021/3/27LSTM的幾個關(guān)鍵“門”與操作上一個時刻的輸出現(xiàn)在的輸入以多大概率去丟掉信息202021/3/27LSTM的幾個關(guān)鍵“門”與操作(產(chǎn)生一個概率值,以多少值去更新信息) 用it對Ct做過濾,哪一部分知識能夠補充到我之前的知識體系中Ct:六年級這一年學到了什么212021/3/27LSTM的幾個關(guān)鍵“門”與操作通過率 舊的記憶篩選器 新的知識222021/3/27LSTM的幾個關(guān)鍵“門”與操作小學全六年知識從前六年的知識中篩出來解決當前題目的知識P(0,1)解決完了給出答案232021

6、/3/27LSTM的變種啟發(fā)式的,沒有嚴謹?shù)臄?shù)學推導窺視孔連接242021/3/27LSTM的變種忘記了0.3的信息 補充0.7的信息只遺忘那些有新元素來填充的元素252021/3/27LSTM的變種:GRU只有兩個門,分別為更新門和重置門,即圖中的zt和rt更新門用于控制前一時刻的狀態(tài)信息被帶入到當前狀態(tài)中的程度,更新門的值越大說明前一時刻的狀態(tài)信息帶入越少。重置門用于控制忽略前一時刻的狀態(tài)信息的程度,重置門的值越小說明忽略得越多。ht:忘記傳遞下來的ht-1中的某些維度信息,并加入當前節(jié)點輸入的某些維度信息更新記憶h主要包含了當前輸入的xt數(shù)據(jù)。把h添加到當前的隱藏狀態(tài),相當于“記憶了當前時刻的狀態(tài)”,類似于LSTM的選擇記憶階段。262021/3/27LSTM的變種:SRU去掉了前后時刻輸出ht計算的依賴,可以將多個時刻計算并行。SRU 實現(xiàn)相比于簡單的 LSTM 實現(xiàn)可快 5 倍。SRU評估 272021/3/27RNN生成模型仿照維基百科282021/3/27RNN生成模型仿照維基百科292021/3/27合成音樂302021/3/27End-to-End Sentence-level Lipreading312021/3/27encod