自然語言及語音處理項目式教程 實訓(xùn)指導(dǎo) 實訓(xùn)1 配置NLP環(huán)境

《自然語言處理技術(shù)》圖122所示。圖STYLEREF1\s1SEQ圖\*ARABIC\s122下載對應(yīng)的cuDNN安裝包⑥cuDNN下載好以后，將所得的文件進行解壓，然后將文件復(fù)制到CUDA的安裝目錄下，通常在路徑C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\版本號下，若有文件，則覆蓋原有文件即可。安裝完CUDA和cuDNN后，可以進行PyTorch的安裝，基本步驟如下。①進入PyTorch官網(wǎng)，找到官網(wǎng)中的“PreviousversionsofPyTorch”按鈕，如REF_Ref136265533\h圖123所示，并單擊進入歷史版本下載界面，找到與CUDA版本對應(yīng)的PyTorch安裝命令，本項目將安裝1.4.0版本的PyTorch，如REF_Ref136252917\h圖124所示。圖STYLEREF1\s1SEQ圖\*ARABIC\s123查看PyTorch歷史版本圖STYLEREF1\s1SEQ圖\*ARABIC\s124查看1.4.0版本的PyTorch②復(fù)制REF_Ref136252917\h圖124紅色框中的代碼，即LinuxandWindows下的代碼，在開始菜單欄下，打開“AnacondaPrompt”，并將復(fù)制后的代碼進行粘貼后運行，即可成功安裝PyTorch。在所有庫安裝完成后，打開“AnacondaPrompt”，輸入“condalist”命令，即可查看所有已經(jīng)安裝的庫，其中，包含Anaconda自帶的標(biāo)準(zhǔn)庫，如REF_Ref136037409\h圖125所示，可以清晰查看到本項目安裝后的PyPDF2和pyhanlp庫。圖STYLEREF1\s1SEQ圖\*ARABIC\s125查看所有已經(jīng)安裝的庫下載數(shù)據(jù)集在進行NLP任務(wù)時，需要使用相應(yīng)的數(shù)據(jù)集，如自然語言處理語料庫（NLTK數(shù)據(jù)集）stopwords、wordnet等。打開Python解釋器，輸入、運行如REF_Ref136037454\h代碼11所示的代碼，下載NLTK數(shù)據(jù)集。代碼STYLEREF1\s1SEQ代碼\*ARABIC\s11下載NLTK數(shù)據(jù)集#下載NLTK所需的語料庫（包括分詞器、停用詞、詞性標(biāo)注器和WordNet等）importnltknltk.download('punkt')nltk.download('stopwords')nltk.download('averaged_perceptron_tagger')nltk.download('wordnet')測試環(huán)境配置是否成功打開Python解釋器，輸入、運行如REF_Ref136037476\h代碼12所示的測試代碼，測試環(huán)境配置是否成功。代碼STYLEREF1\s1SEQ代碼\*ARABIC\s12測試環(huán)境配置是否成功#定義一個文本字符串，對其進行分詞，得到tokenstext="Hello,world!ThisisasampletextforNLPanalysis."tokens=nltk.word_tokenize(text)print(tokens)#從NLTK庫中獲取英語停用詞集，過濾掉tokens中的停用詞，得到filtered_tokensstop_words=set(nltk.corpus.stopwords.words('english'))filtered_tokens=[tokenfortokenintokensiftoken.lower()notinstop_words]print(filtered_tokens)#對tokens進行詞性標(biāo)注，得到pos_tagspos_tags=nltk.pos_tag(tokens)print(pos_tags)運行REF_Ref136037476\h代碼12，輸出測試結(jié)果如下，表明環(huán)境配置成功。['Hello',',','world','!','This','is','a','sample','text','for','NLP','analysis','.']['Hello',',','world','!','sample','text','NLP','analysis','.'][('Hello','NNP'),(',',','),('world','NN'),('!','.'),('This','DT'),('is','VBZ'),('a','DT'),('sample','JJ'),('text','NN'),('for','IN'),('NLP','NNP'),('analysis