深度學習基礎與實踐 教案8.5任務實施（操作參考）

8.5任務實施8.5.1任務書本任務預測國際航空乘客所使用的神經(jīng)網(wǎng)絡為LSTM，主要是解決長序列訓練過程中的梯度消失和梯度爆炸問題。操作要求：讀取準備好的國際航空乘客數(shù)量數(shù)據(jù)；對數(shù)據(jù)進行預處理；對現(xiàn)有的國際航空乘客建立LSTM神經(jīng)網(wǎng)絡；進行預測；輸出預測結(jié)果；預測結(jié)果與實際結(jié)果對比圖。8.5.2任務分組表8-2學生任務分配表班級組號指導老師組長學號成員數(shù)量組長任務組長得分組員姓名學號任務分工組員得分8.5.3獲取信息引導問題1：了解關于時間序列問題可應用的場景還有哪些。深度學習中的時間序列可以應用于以下場景：1.語音識別：語音是一種時間序列信號，深度學習中的循環(huán)神經(jīng)網(wǎng)絡（RNN）可以用于語音信號的特征提取和語音識別任務。2.自然語言處理：文本也可以看作是一個時間序列，深度學習中的RNN和長短時記憶網(wǎng)絡（LSTM）可以用于文本分類、機器翻譯等任務。3.信號處理：信號處理涉及到時間序列數(shù)據(jù)的分析和處理，包括圖像處理、音頻處理和視頻處理等領域。4.金融市場預測：深度學習中的RNN和卷積神經(jīng)網(wǎng)絡（CNN）可以用于預測股票價格、匯率、商品價格等金融市場指標。5.醫(yī)療健康：深度學習中的RNN可以用于病人的疾病預測和診斷，還可以用于心電圖和腦電圖等醫(yī)療信號的分析和處理。6.動態(tài)系統(tǒng)建模：深度學習中的RNN和LSTM可以用于模擬和預測動態(tài)系統(tǒng)的演化，如天氣模擬、氣候模擬和交通流量模擬等?？傊疃葘W習中的時間序列可以應用于很多領域，幫助人們更好地理解和預測時間相關的數(shù)據(jù)，并提高各種任務的準確性和效率。引導問題2：回憶LSTM結(jié)構(gòu)的三個控制門是如何實現(xiàn)的，并思考為什么能解決RNN梯度消失的問題？LSTM（長短時記憶）結(jié)構(gòu)包含三個控制門：遺忘門、輸入門和輸出門。遺忘門是一個Sigmoid函數(shù)，它決定了哪些信息要被保留，哪些信息應該被遺忘。輸入門也是一個Sigmoid函數(shù)，它確定哪些信息需要更新到細胞狀態(tài)中。輸出門是另一個Sigmoid函數(shù)，它確定了哪些信息來自細胞狀態(tài)需要傳遞到輸出。LSTM通過引入這些控制門來解決RNN的梯度消失問題。在傳統(tǒng)的RNN中，反向傳播算法會導致梯度消失或梯度爆炸的問題，因為根據(jù)鏈式法則，每一層的梯度都需要乘以來自更深層的梯度。在LSTM中，控制門可以讓模型更加有效地決定哪些信息需要保留和更新，從而減輕了梯度消失和梯度爆炸的問題。此外，LSTM還可以防止長序列中的信息丟失，使得模型能夠更好地處理長期依賴性。8.5.4工作實施引導問題3：請按照下面的實驗步驟完成創(chuàng)建實驗檢測路徑、文件和數(shù)據(jù)集的操作。（1）創(chuàng)建實驗檢測路徑。在實驗環(huán)境的桌面右鍵單擊“創(chuàng)建文件夾(F)…”，輸入文件夾名稱為“test9”，后期所有項目文件都將保存至該文件夾。（2）創(chuàng)建實驗文件和數(shù)據(jù)集。運行Pycharm軟件，打開“test9”項目文件夾并在文件夾下創(chuàng)建“LSTM_pre_airplanpath.py”文件。將數(shù)據(jù)集文件international-airline-passengers.csv存放到“test9”文件夾中，如圖8-30所示。圖8-30實驗文件和數(shù)據(jù)集引導問題4：請在“LSTM_pre_airplanpath.py”文件中編輯代碼，實現(xiàn)引用包的導入：導入處理數(shù)據(jù)的numpy包和pandas包，導入人工神經(jīng)網(wǎng)絡的相關包pytorch，最后導入生成圖像的包，請完成橫線處對代碼的注釋。導入引用包的具體操作代碼：importnumpyasnp importpandasaspdimportmatplotlib.pyplotasplt#導入matplotlib的pyplot子庫，命名為pltimporttorch#導入PyTorch庫中的函數(shù)和類fromtorchimportnn#導入torch.nn模塊用于構(gòu)建神經(jīng)網(wǎng)絡模型fromtorch.autogradimportVariable#導入torch.autograd中Variable模塊torch.tensor引導問題5.請在“LSTM_pre_airplanpath.py”文件中編輯代碼，實現(xiàn)數(shù)據(jù)的預處理，請完成橫線處補充完成代碼或?qū)Υa注釋。預處理數(shù)據(jù)的具體操作代碼：data_csv=pd.read_csv('./international-airline-passengers.csv',usecols=[1])#讀入數(shù)據(jù)#讀取完數(shù)據(jù)后，清洗掉有缺失的數(shù)據(jù)，然后讀取每一條數(shù)據(jù)的值，并且將其轉(zhuǎn)化為float型data_csv=data_csv.dropna()#濾除缺失數(shù)據(jù)dataset=data_csv.values#獲得csv的值dataset=dataset.astype('float32')#獲取所有數(shù)據(jù)中的最大值以及最小值，然后求出最大值與最小值的差值max_value=np.max(dataset)#獲得最大值min_value=np.min(dataset)#獲得最小值scalar=max_value-min_value#獲得間隔數(shù)量#對數(shù)值進行歸一化dataset=list(map(lambdax:x/scalar,dataset))#歸一化#對輸入集以及輸出集進行初始化，設置一個值look_back，然后將前l(fā)ook_back個數(shù)據(jù)以及后look_back個數(shù)據(jù)剔除掉，將剩下的數(shù)據(jù)加入到兩個數(shù)據(jù)集defcreate_dataset(dataset,look_back=2):dataX,dataY=[],[]foriinrange(len(dataset)-look_back):a=dataset[i:(i+look_back)]dataX.append(a)dataY.append(dataset[i+look_back])returnnp.array(dataX),np.array(dataY)#創(chuàng)建好輸入輸出data_X,data_Y=create_dataset(dataset)#劃分訓練集和測試集，70%作為訓練集，其余的數(shù)據(jù)集作為測試集train_size=int(len(data_X)*0.7)test_size=len(data_X)-train_sizetrain_X=data_X[:train_size]train_Y=data_Y[:train_size]test_X=data_X[train_size:]test_Y=data_Y[train_size:]#將所有的數(shù)據(jù)集重塑為三維數(shù)據(jù)，并且將三維數(shù)據(jù)轉(zhuǎn)化為PyTorch中適用的張量train_X=train_X.reshape(-1,1,2)train_Y=train_Y.reshape(-1,1,1)test_X=test_X.reshape(-1,1,2)train_x=torch.from_numpy(train_X)train_y=torch.from_numpy(train_Y)test_x=torch.from_numpy(test_X)#完成所有的三維數(shù)據(jù)轉(zhuǎn)換為張量引導問題6.請在“LSTM_pre_airplanpath.py”文件中編輯代碼，實現(xiàn)神經(jīng)網(wǎng)絡的創(chuàng)建，創(chuàng)建神經(jīng)網(wǎng)絡的方法同樣是對nn.Module進行繼承重寫，請完成橫線處補充完成代碼或?qū)Υa注釋。創(chuàng)建神經(jīng)網(wǎng)絡具體操作代碼：#重寫__init__()方法，用到LSTM神經(jīng)網(wǎng)絡classlstm(nn.Module):def__init__(self,input_size=2,hidden_size=4,output_size=1,num_layer=2):super(lstm,self).__init__()self.layer1=nn.LSTM(input_size,hidden_size,num_layer)self.layer2=nn.Linear(hidden_size,output_size)#重寫forward()方法defforward(self,x):x,_=self.layer1(x)s,b,h=x.size()x=x.view(s*b,h)x=self.layer2(x)x=x.view(s,b,-1)returnx#根據(jù)新建的神經(jīng)網(wǎng)絡創(chuàng)建一個modelmodel=lstm(2,4,1,2)#使用torch.nn.MSELoss()來計算損失值，并且使用Adam優(yōu)化算法criterion=nn.MSELoss()optimizer=torch.optim.Adam(model.parameters(),lr=1e-2)引導問題7.請在“LSTM_pre_airplanpath.py”文件中編輯代碼，使用一個循環(huán)結(jié)構(gòu)來訓練，上限為30000次，請完成橫線處補充完成代碼或?qū)Υa注釋。開始訓練具體操作代碼：#訓練前要使用torch.autograd.Variable()函數(shù)對張量進行封裝，預測值與實際值都要進行封裝foreinrange(10000):var_x=Variable(train_x)var_y=Variable(train_y)#前向傳播，使用之前得到model來進行訓練，并且計算損失值out=model(var_x)loss=criterion(out,var_y)#反向傳播，計算輸出節(jié)點的總誤差，并將誤差用反向傳播算法傳播回網(wǎng)絡，計算梯度，使用Adam算法調(diào)整optimizer.zero_grad()loss.backward()optimizer.step()#每訓練100次輸出結(jié)果if(e+1)%100==0:#每100次輸出結(jié)果print('Epoch:{},Loss:{:.5f}'.format(e+1,loss.item()))引導問題8.請在“LSTM_pre_airplanpath.py”文件中編輯代碼，利用后30%的數(shù)據(jù)進行測試，請完成橫線處補充完成代碼或?qū)Υa注釋。轉(zhuǎn)換成測試模式具體操作代碼：model=model.eval()#轉(zhuǎn)換成測試模式data_X=data_X.reshape(-1,1,2)data_X=torch.Tensor(data_X)var_data=Variable(data_X)pred_test=model(var_data)#測試集的預測結(jié)果#改變輸出的格式pred_test=pred_test.view(-1).data.numpy()引導問題9.請在“LSTM_pre_airplanpath.py”文件中編輯代碼，實現(xiàn)實際結(jié)果和預測結(jié)果的函數(shù)圖像輸出，請完成橫線處補充完成代碼或?qū)Υa注釋。輸出結(jié)果的具體操作代碼：z=[]foriinrange(112,142):z.append(i)z=np.array(z)#畫出實際結(jié)果和預測的結(jié)果plt.plot(z,pred_test[112:142],'r',label='prediction')plt.plot(dataset,'b',label='real')plt.legend(loc='best')plt.show()plt.savefig('./picture.png')引導問題10.運行“LSTM_pre_airplanpath.py”程序，大概會需要十分鐘左右，通過多次測試，得到結(jié)果并分析結(jié)果。實驗結(jié)果：結(jié)果分析：隨著訓練的次數(shù)越多，預測結(jié)果更加準確。8.5.5評價反饋全面考核學生的專業(yè)能力和關鍵能力，采用過程性評價和結(jié)果評價相結(jié)合，定性評價與定量評價相結(jié)合的考核方法。注重學生動手能力和在實踐中分析問題、解決問題能力的考核，在學習和應用上有創(chuàng)新的學生給予特別鼓勵。小組總評成績?yōu)椤白栽u+互評+師評”按比例折算的成績再加上附加分，自評、互評和師評所占比例可以由教師根據(jù)具體情況自行制定。