深度學(xué)習(xí)基礎(chǔ)與實(shí)踐 單元練習(xí)答案匯 單元1-10

.6單元練習(xí)1.20世紀(jì)30年代到50年代，就提出了神經(jīng)網(wǎng)絡(luò)，但是由于硬件條件和數(shù)據(jù)集的限制，讓神經(jīng)網(wǎng)絡(luò)之后陷入冰河時(shí)代，之后的硬件條件和數(shù)據(jù)集大量提高讓神經(jīng)網(wǎng)絡(luò)重回人們視野，并取得了令人著名成績(jī)。2.遷移學(xué)習(xí)和端到端學(xué)習(xí)可以結(jié)合到一個(gè)網(wǎng)絡(luò)中。3.深度學(xué)習(xí)是由神經(jīng)網(wǎng)絡(luò)發(fā)展而來的。4.推動(dòng)深度學(xué)習(xí)成功有三大因素：大數(shù)據(jù)出現(xiàn)、計(jì)算能力提高、算法的創(chuàng)新。5.卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域有：圖像分類、目標(biāo)檢測(cè)、圖像分割、人像檢測(cè)。2.7單元練習(xí)1.“過擬合”常常在模型學(xué)習(xí)能力較弱，而數(shù)據(jù)復(fù)雜度較高的情況出現(xiàn)，此時(shí)模型由于學(xué)習(xí)能力不足，無法學(xué)習(xí)到數(shù)據(jù)集中的“一般規(guī)律”，導(dǎo)致泛化能力弱。（錯(cuò)）2.在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中，欠擬合主要表現(xiàn)為輸出結(jié)果的高偏差，而過擬合主要表現(xiàn)為輸出結(jié)果的高方差。（對(duì)）3.過擬合的緩解辦法有：數(shù)據(jù)增強(qiáng)、正則化、Dropout、增加噪聲等。（對(duì)）4.損失函數(shù)通常是指在單個(gè)樣本上的函數(shù)，是一個(gè)樣本的誤差，而代價(jià)函數(shù)是整個(gè)訓(xùn)練集上的函數(shù)，是所有樣本的誤差平均，代價(jià)函數(shù)是目標(biāo)函數(shù)的一部分。（對(duì)）5.對(duì)數(shù)損失函數(shù)用到了極大似然估計(jì)的思想，在當(dāng)前模型上取正確預(yù)測(cè)的概率，取對(duì)數(shù)即可得到結(jié)果。（錯(cuò)）6.MSE通?？梢宰鳛榛貧w問題的性能指標(biāo)，RMSE通常作為回歸問題的代價(jià)函數(shù)。（錯(cuò)）7.優(yōu)化在深度學(xué)習(xí)中的挑戰(zhàn)有局部最小值和鞍點(diǎn)。（對(duì)）8.數(shù)據(jù)增強(qiáng)常用在視覺表象和圖像分類中，其中有隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪、色彩抖動(dòng)、高斯噪聲、水平翻轉(zhuǎn)和豎直翻轉(zhuǎn)，可增加圖像的多樣性。（對(duì)）9.DropConnect與DropOut的區(qū)別在于前者在輸入時(shí)減少權(quán)重的連接，而后者是在輸出時(shí)減少權(quán)重的連接。（錯(cuò)）3.6單元練習(xí)1.PyTorch是開源的機(jī)器學(xué)習(xí)庫，用于自然語言處理等應(yīng)用程序，提供了強(qiáng)大的GPU加速張量的計(jì)算，且包含自動(dòng)求導(dǎo)的機(jī)制。（對(duì)、錯(cuò)）2.PyTorch這個(gè)框架擅長(zhǎng)處理數(shù)據(jù)分析，擁有眾多模塊包，且上手快，代碼簡(jiǎn)潔靈活，文檔規(guī)范等都是該框架的優(yōu)點(diǎn)。（對(duì)、錯(cuò)）3.PyTorch框架相對(duì)于其他的框架而言更為簡(jiǎn)潔靈活、方便易用，在靈活的同時(shí)速度也很快，且提供了完整的文檔和社區(qū)供開發(fā)者討論學(xué)習(xí)。（對(duì)、錯(cuò)）4.PyTorch內(nèi)置大量的數(shù)學(xué)操作，如加法操作、絕對(duì)值操作、隨機(jī)生成數(shù)組等。5.PyTorch提供了張量、數(shù)學(xué)操作、數(shù)理統(tǒng)計(jì)、比較操作。6.PyTorch中的張量概念包括標(biāo)量、向量和線性算子。7.張量可以用坐標(biāo)系統(tǒng)來表達(dá)，是可以記作標(biāo)量的數(shù)組。4.7單元練習(xí)1.torch.mm是做矩陣中元素相乘，torch.mul是做矩陣乘法。（錯(cuò)）2.x+y不能使用torch.sum(x,y)，而是用torch.add(x,y)。（對(duì)）3.只有相同環(huán)境下的變量才能一起運(yùn)算，如果一個(gè)變量在CPU上，而另一個(gè)變量在GPU上，它們是不允許做任何運(yùn)算的。（對(duì)）4.只有相同環(huán)境下的變量才能一起運(yùn)算，如果一個(gè)變量在CPU上，而另一個(gè)變量在GPU上，它們是不允許做任何運(yùn)算的。（對(duì)）5.歸一化的目的是減少內(nèi)部協(xié)變量偏移問題，讓輸入數(shù)據(jù)的分布一致，比如都?xì)w一化到標(biāo)準(zhǔn)正態(tài)分布上。（對(duì)）6.全連接層的操作類似于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的操作。（對(duì)）5.6單元練習(xí)1.PyTorch的數(shù)據(jù)加載器有兩種，分別是Torch.utils.Dataset和Torchvision.datasets.ImageFolder，其中Torchvision.datasets.ImageFolder對(duì)數(shù)據(jù)集文件夾分布有要求，而Torch.utils.Dataset沒有。（對(duì)）2.PyTorch實(shí)現(xiàn)深度模型有四大步驟：輸入處理模塊；模型構(gòu)建模塊；定義代價(jià)函數(shù)和優(yōu)化器模塊；構(gòu)建訓(xùn)練過程。（對(duì)）3.采樣器torch.utils.dataloader是對(duì)加載器Torch.utils.Dataset和Torchvision.datasets.ImageFolder的再次封裝，torch.utils.dataloader定義采樣的策略，采樣樣本的數(shù)量等信息。（對(duì)）4.Transforms.ToTensor()是深度學(xué)習(xí)圖像處理必不可少的預(yù)處理方式，它是將PIL圖像轉(zhuǎn)為tensor張量，從而讓計(jì)算機(jī)進(jìn)行圖像張量的計(jì)算。（對(duì)）5.數(shù)據(jù)集的預(yù)處理是非常重要的一個(gè)環(huán)節(jié)，它有數(shù)據(jù)增強(qiáng)、提高精度、加速模型學(xué)習(xí)等作用。（對(duì)）6.State_dict表示參數(shù)權(quán)重字典，在進(jìn)行測(cè)試階段時(shí)，必須使用model.eval()，將模型設(shè)置為測(cè)試階段。（對(duì)）6.6單元練習(xí)1.在CNN網(wǎng)絡(luò)出現(xiàn)之前，人工智能對(duì)圖像研究存在著三大問題：圖像數(shù)據(jù)處理的數(shù)據(jù)量非常大；圖像數(shù)字化過程很難保留原有特征；早期方法獲取信息豐富，特征難度大。（對(duì)）2.CNN網(wǎng)絡(luò)主要用于圖像分類、圖像檢索、目標(biāo)定位檢測(cè)、目標(biāo)分割、時(shí)序預(yù)測(cè)、目標(biāo)識(shí)別等領(lǐng)域。（錯(cuò)）3.卷積操作中可分卷積比較常用，深度可分卷積不太常用。（錯(cuò)）4.Fashion-MNIST是2017年提出來的，用于基準(zhǔn)機(jī)器學(xué)習(xí)算法的新型圖像數(shù)據(jù)集。它旨在替代MNIST，提供更具有挑戰(zhàn)性的基準(zhǔn)機(jī)器學(xué)習(xí)算法數(shù)據(jù)集。（對(duì)）5.num_workers允許使用多個(gè)線程來加速讀取數(shù)據(jù)，但是需要注意Windows系統(tǒng)暫不支持這個(gè)超參數(shù)，只允許使用一個(gè)線程。（對(duì)）6.構(gòu)造模型時(shí)，必須繼承torch.Module這個(gè)父類，pytorch才能識(shí)別出自定義的模型，并自動(dòng)進(jìn)行反向傳播機(jī)制。（對(duì)）7.6單元練習(xí)1.數(shù)字圖像是由無限多的元素組成的，每個(gè)元素都有一個(gè)特定的位置和幅值，這些元素稱為圖畫元素、圖像元素或像素，像素是廣泛用于表示數(shù)字圖像元素的術(shù)語。（錯(cuò)）2.數(shù)字圖像中有三種典型的計(jì)算，一種是圖像到圖像的低級(jí)處理，一種是圖像到特征的中級(jí)處理，還有一種是圖像到內(nèi)容理解的高級(jí)處理。（對(duì)）3.根據(jù)每個(gè)像素所代表的信息不同，能夠?qū)D像分為二值圖像、灰度圖像、RGB圖像、索引圖像等。（錯(cuò)）4.數(shù)字圖像通常要求很多的比特?cái)?shù)，在傳輸和存儲(chǔ)上存在很大的困難，會(huì)占用很多的資源，也會(huì)消耗很高的費(fèi)用。（對(duì)）5.圖像編碼也叫做圖像壓縮，是指在滿足一定質(zhì)量的條件下，使用較少的比特?cái)?shù)表示圖像或圖像中所包含的技術(shù)，壓縮算法有哈夫曼、位平面、預(yù)測(cè)、有損預(yù)測(cè)編碼等。（對(duì)）6.使用深度學(xué)習(xí)在進(jìn)行圖像分類或者目標(biāo)對(duì)象檢測(cè)的時(shí)候，首先需要對(duì)圖像做數(shù)據(jù)預(yù)處理，最常見的對(duì)圖像預(yù)處理方法有兩種，正常白化處理又叫圖像標(biāo)準(zhǔn)化處理，另外一種方法叫做歸一化處理。（對(duì)）8.7單元練習(xí)1、數(shù)據(jù)預(yù)測(cè)的原理是運(yùn)用過去的時(shí)間序列數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，消除隨機(jī)波動(dòng)和偶然因素所帶來的影響，預(yù)測(cè)出事物的定性結(jié)果。（錯(cuò)）2、時(shí)間序列的數(shù)據(jù)存在著規(guī)律性和不規(guī)律性，根據(jù)不同的因素有不同的類型，大致包含四個(gè)特征：周期性、不變性、趨勢(shì)性和綜合性。（錯(cuò)）3、LongShortTermMemorynetworks簡(jiǎn)稱LSTM，是一種特殊的RNN網(wǎng)絡(luò)，該網(wǎng)絡(luò)設(shè)計(jì)出來是為了解決長(zhǎng)期依賴問題。（對(duì)）4、當(dāng)模型能夠表示長(zhǎng)期依賴時(shí)，長(zhǎng)期相互作用的梯度幅度值就會(huì)變得指數(shù)小，但是這不意味著不可學(xué)習(xí)，只是長(zhǎng)期依賴容易被短期相關(guān)性產(chǎn)生的最小波動(dòng)隱藏，因此需要花更多的時(shí)間去學(xué)習(xí)它。（對(duì)）5、由于LSTM長(zhǎng)短期記憶能夠記憶不定時(shí)間長(zhǎng)度的數(shù)值，所以能夠在一定程度上解決RNN存在的梯度消失或梯度爆炸的問題。（對(duì)）6、相較于RNN而言，LSTM提供了一個(gè)記憶單元作為輸入，在網(wǎng)絡(luò)結(jié)構(gòu)加深時(shí)能夠傳遞前后層的網(wǎng)絡(luò)信息。（錯(cuò)）9.6單元練習(xí)1.一般而言，一個(gè)好的表示可以使后續(xù)的學(xué)習(xí)任務(wù)更容易，選擇什么表示通常取決于后續(xù)的學(xué)習(xí)任務(wù)。（對(duì)）2.圖像分類研究的主要流程有：獲取數(shù)據(jù)集，生成特征，使用模型將特征進(jìn)行分類。（對(duì)）3.AlexNet網(wǎng)絡(luò)使用了很多網(wǎng)絡(luò)的新技術(shù)點(diǎn)，包括ReLu激活函數(shù)，Dropout避免擬合，利用平均池化豐富特征，LRN增加范化能力，使用GPU加速訓(xùn)練，以及數(shù)據(jù)增強(qiáng)。（錯(cuò)）4.圖像分類的任務(wù)是將不同的圖像劃分到不同的類別，實(shí)現(xiàn)最小分類誤差和最高精度。（對(duì)）5.深度學(xué)習(xí)圖像分類中輕量化模型優(yōu)點(diǎn)在于參數(shù)模型小，計(jì)算量小，但是精度和速度較低。（錯(cuò)）6.AlexNet網(wǎng)絡(luò)中使用一個(gè)自適應(yīng)平均池化操作，但是輸入輸出的特征數(shù)目不會(huì)變化。（對(duì)）10.6單元練習(xí)網(wǎng)絡(luò)退化是指：隨著網(wǎng)絡(luò)層數(shù)的不斷增加，模型精度不斷得到提升，而當(dāng)網(wǎng)絡(luò)層級(jí)數(shù)加到一定的數(shù)目以后，訓(xùn)練精度和測(cè)試精度迅速下降，這說明當(dāng)網(wǎng)絡(luò)變得很深以后，深度網(wǎng)絡(luò)就變得更加難以訓(xùn)練了。（對(duì)）ResNet殘差網(wǎng)絡(luò)解決了網(wǎng)絡(luò)退化的問題，主要是用到了“bottleneckblock”和“basicblock”兩種殘差塊結(jié)構(gòu)。（對(duì)）PyTorch實(shí)現(xiàn)ResNet,可以使用Torchvision.models包來方便實(shí)現(xiàn)，即Torchvision.models.resnet50(pretrained=true)。（對(duì)）行人重識(shí)別，是指在給定某個(gè)監(jiān)控?cái)z像機(jī)下的行人圖像，利用行人