深度學習基礎知識整理

1、深度學習基礎知識整理Withoutdeviationfromthenorm,progressisnotpossible（不偏離常規(guī)，就無法取得進步-FrankZappa）選擇哪個深度學習框架？鬟手習框柒*機構教程將可利用資源P.nr0rge 應加心丁坨0r珂 isandearningLanguagesa-.-ramewtrfks 伯tra,Wgmaler,als卷浮箱蟄網(wǎng)絡建模能力CNNmodelirigcapability需環(huán)神經(jīng)網(wǎng)絡建模能力RNNmodeling的時嘀以果構；易用度及前端Arctiilecture;easy-to-useandmodularfrontend執(zhí)行效率Speed

2、部署的便利性Install&Port多 GPU 運算支特MultipleGPUsupportPythonC+T&nsorFI&w八GOGoogle詳盡的文檔，容易被初學者理解和實很好的CNN建現(xiàn).TFLeam中根模能力，易于崖立多使用 InceptionV3 模TensarFlow妁型RNN示例使用皿kglkig可以比較高效地實現(xiàn) ENN直觀而模塊化的架得藉鬻方產(chǎn)品期的高質(zhì)量代碼盟鬻噩訓卻蚓使其在大多數(shù)蠹翔/盛艙中具有竟爭力debug 和首控棄格性，能夠全面地支持各種硬件和榛作系統(tǒng),支持 We（和 AMD 的 CPU：通過CUM 支持 NVIDIA 的 GPU;通過。g

3、nCL麥持AM口的 GPU,但沒 CU口四成熟;支持 Linux、Mac 和 Window 占;燧夠基干ARM 架構編譯利優(yōu)化.TensorFlowServing 可讓力境好的模型快捷方孽地就人到實際生產(chǎn)環(huán)境原生支持的分布式深度學引可以很好支持多 GPU運算CaffePythonC+BerkeleyVisionandLearningCwiler;賈抵消安裝和配置是一個對時間序列RNN、L&TM 等支持得不比較讓人頭痛的問支持非常好,很好是將別充分疆于題;在文檔上也程時比較痛苦，不過正在改善的CNN建模能力L自yer的模式也對若要大量工作才能創(chuàng)建一個新層，在橫型結構非常復雜時可能需要寫非

4、常完KNN 不是羋常友好，長的配置文件才能定義 RNM 建構時比設計好網(wǎng)絡,而且唧稍落后于GsnsorFlow；程序運行非常穩(wěn)定,代碼質(zhì)量高較麻煩讀時也較協(xié)力在 GPUL 訓練的性能很好.底層基于 C+的，因此可以在各種硬件但是目前很支持單機多環(huán)境編譯并具有良好的移植性， 支持GPU的訓練.不原生支持分Linux.Mac和 Window 生也可收編譯布式的訓煉： 不過通過:罪部署到 Andmid 和心S卜:沱計算機視三方如 Cw除 CtnSpark借覺領域應用尤其氧常用于人臉識別、助 Spa 由的分布式框架可圖片分類、位置檢潴、目標追蹤等實現(xiàn) C 自施的國規(guī)模分布式訓練CNTKC+Micros

5、oft少見新手班資料支持各種前信網(wǎng)翳包括MLP.CNN、RNN.LSTMSequertce-to-Sequence.也支特自動求解梯度TorchLuaFacebooli詳盡的文檔， 容易被初學者理解和實現(xiàn)很好的CNN建模能力，豐富的CNN 更源， 包括易干使用的時間卷織集MXNetPythonC+RDistritauledMachineLearning 詳盡的文檔，客易Ctmmmil 上被初學者理睇和李沐，實現(xiàn)AWW 官方推薦很好的CNN建模能力Th&snoPython蒙特利爾大學 UsaLabPython深度學可摩的基石,派生出了大量基于它的4度學習庫;高質(zhì)量文檔和教程，同對 CMN

6、 的支持很好感強的CNN 建模能力時可以方便地查找到各種 FAQ豐富的RNN救程和項構建模型擁有產(chǎn)品期的代碼性能易尚設計.在CPU、單GPU、名GPU,以及GPU集群上都有非常優(yōu)異的表質(zhì)；在語音識別軟現(xiàn);最近推出的 14it域的使用尤其廣泛cdnipcessKHi ?Hi低了通信代價，使大業(yè)模并行訓某也擁有很高的效率原生支持多GPU和分布式,基于C+并且聘平臺， 大部分情況下部從官網(wǎng)企布的對比評測來署非常煢單,PC上支持 Linux、M融和看.性錢非常不錯;在多 Windows,但目前不支持ARM架構一GPU方面，CNTK 相對干限制了在移動設備上的發(fā)揮箕他的深度坐習奉梨表現(xiàn)得更突出Ker靛P

7、ythonfchollelLaugnePythonLasagneNervanaNeonPythofiSystems（imtei豐富的RNN教程河為梢隹模型想多直現(xiàn)而模塊化的架第三方的擴展支持構.開發(fā)相對簡單 RNNWTensorFlow樣使 R 底層 C+加二且右開海糞孑匚袖4SGH層腳本 l 語言調(diào)用的方式 1 只不過RrchKSSMSIE使用的是5 支制MMs還支君虐川,最佳性持各種嵌入式礴（iOS.And 加FPGA等 ， 不過運行時必須有UumJlT的環(huán)境，工業(yè)生產(chǎn)環(huán)境的使用相對較少GPU 上苣計算優(yōu)先，支持復雜神鯉網(wǎng)絡的拓撲圖結構.再并行化到CPU和GPU上較好的 CNN建模能力它的

8、符號計算入 PI支恃循環(huán)控制，讓RNN的實現(xiàn)”篇簡單并且高性能育觀而模塊化的架構.開發(fā)相對簡單在調(diào)忒時輸出的錯誤信息非常理以看H.DEBUG 非常痛苫上層的計算圖優(yōu)化算在并個框架中率先支持多法可以讓符號計算執(zhí)支持非常多的語言封裝寸*+、Pyttion行得非?？?且節(jié)熱內(nèi) R、Julia.Scala,Go、MAR 朋和黑 Y 魯猊言嚷*-存湖建一個網(wǎng)絡需要MvaScript.同時可忸在 AM 箱汨、i0S 溪*嗨嗑舞楚+的時間可能比小麗上運行基于深度學習的囤像識別等任Tor 曲長但比直接用務鬻鬻然多1GPUTh3 附快甄分布式集群稍簫后干TensorFlow;支持 Linux、Mac和 Wind

9、 口陽 I 但是沒在定義新網(wǎng)絡結構時.有底層 C+接口都.罟摸型十分不方便通常需要長盹間的編不支持理珅移動設備洋ITieano 的上片史度封裝.崇尚極笥、息度嗅塊化的神經(jīng)網(wǎng)絡框架可以殖電切換執(zhí)行計算的后隊目前同時支持 Theam 和 TensorFkw;組件全是可插撥的模塊，比較適合在探索階段快速嘗試各種網(wǎng)絡結構,這讓醺而 3 非常適合前沿價究尊H界的最愛之一只在 QpenCL 和丁健加。S 己的自即自my應上支持空GPUUI 陳;目前沒有分右式實現(xiàn);在單 GPU 上抗行效率”不錯.但是鵠要將Python代碼轉換成 CUDA 代碼， 再編譯為二進制可執(zhí)行文件，編譯復雜模型的時間久目前無法直接使

10、用多GPU,大規(guī)模數(shù)據(jù)處理速度沒有其他支持多GPU和分布式的框架快同樣是 Th 的 no 的上層封裝，設計的原區(qū)是簡潔、選用、模塊膽、實用、聚焦和專注;Karas 隱藏了 Th 葩 no 中所有的方法和對象，而 Lm&ggrw 則是借用了Theamj中很多的類茸是介于基貼的仙曲m卻高度抽象灼熊之間的輕度封裝對神經(jīng)網(wǎng)筋的每一廄定義都非常嚴凰支持前饋相經(jīng)網(wǎng)絡如CNN.RNN、LSTM 等而及它們的朝合;同時支持許多優(yōu)業(yè)方法如NE31EElYiome 血 m.RMSpcnp.ADAW 等.學H界的最要之二少見新手期資料;同樣具有開源卷積箱經(jīng)網(wǎng)絡基準洌試的最佳性能;未來可能與GPU無關了，建諛

11、美注 Intel 今才推出的專用深度學習CPU第一課：數(shù)學分析與概率論Taylor展式及其應用、凸函數(shù)、jensen不等式、常見分布與共輾分布第二課：數(shù)理統(tǒng)計與參數(shù)估計Chebyshev不等式、大數(shù)定理、小數(shù)定理、中心極值定理、矩陣計算、最大似然估計第三課:矩陣和線性代數(shù)從馬爾克夫模型看矩陣、特征向量、對稱矩陣、線性方程第四課：凸優(yōu)化凸函數(shù)、共輾函數(shù)、凸優(yōu)化、Lagrange對偶函數(shù)第五課：回歸高斯分布、Logistic回歸、梯度下降、特征選擇與過擬合欠擬合關系應用方向：線性回歸、Logistic回歸實現(xiàn)和分析第六課：梯度下降與擬牛頓法應用方向：自適應學習率代碼實現(xiàn)和參數(shù)調(diào)試分析第七課：最大嫡

12、模型嫡、相對嫡、信息增益、最大嫡模型、Softmax回歸應用方向：獨立成分分析ICA求解盲源分離BBS問題第八課： 決策樹和隨機森林（蒙特卡羅）ID3、C4.5、CARTBagging研究方向：使用隨機森林進行數(shù)據(jù)分類（蒙特卡洛）第九課：SVM線性可分支持向量機、軟間隔、核函數(shù)、SMO研究方向：使用SVM進行數(shù)據(jù)分類第十課：聚類K-means/K-Medoids、密度聚類、譜聚類、應用方向：K-mean$譜梯度下降算法、自適應學習率、擬牛頓、LBFGS聚類代碼實現(xiàn)和參數(shù)調(diào)試分析第十一課：推薦系統(tǒng)相似度量方案、協(xié)同過濾（User-based/ltem-based）、PCA/SVD、隨機游走應用方

13、向：協(xié)同過濾用于商品推薦、SVD隱變量的推薦第十二課：提升梯度提升決策樹GBDT、Adaboost、前向分步算法應用方向：Adaboost與隨機森林（蒙特卡洛）結合、用于數(shù)據(jù)分類第十三課：EM算法和GMMEMM算法、GMM、主題模型pLSA應用方向：分解部分觀測數(shù)據(jù)的男女身高、圖像分解第十四課：普斯貝葉斯和貝葉斯網(wǎng)絡初步有向分離、（隱）馬爾科夫模型HMM第十五課：主題模型用EM算法計算pLSADirichiet分布、LDAGibbs采樣應用方向：使用Gibbs采樣計算給語料的主題第十六課：采樣MCMC(MarkovchainMonteCarlo)、Metropolis-Hastings算法、G

14、ibbs采樣第十七課：變分KL(pllq)與KL(qllp)分析、平均場理論第十八課：隱馬爾科夫模型HMM概率計算問題、HMM參數(shù)學習問題、狀態(tài)預測問題應用方向：使用HMM進行中文分詞第十九課：條件隨機場CRF無向圖模型、MRF、前向-后向算法第二十課：深度學習全連接網(wǎng)絡、鏈式法則與BP算法、卷積網(wǎng)絡、殘差網(wǎng)絡、應用方向：使用BP網(wǎng)絡對樣本分類第十三課：深度學習總體介紹1 .神經(jīng)網(wǎng)絡；傳統(tǒng)到現(xiàn)代2 .深度學習應用特定3 .深度學習發(fā)展方向4 .深度學習框架比較：用 Tensorflow 進行課程學習第十四課：傳統(tǒng)神經(jīng)網(wǎng)絡1 .線性回歸2 .非線性激勵函數(shù)3 .loss 函數(shù)，常見問題：過擬合，

15、正則化，dropout實例：傳統(tǒng)神經(jīng)網(wǎng)絡絡實現(xiàn)第十五課反向反饋：深度學習模型優(yōu)化基礎1 .SGD 梯度下降介紹2 .神經(jīng)網(wǎng)絡的梯度優(yōu)化3 .神經(jīng)網(wǎng)絡訓練實例：反向梯度優(yōu)化對比第十六課卷積神經(jīng)網(wǎng)絡1.卷積核以及卷積層2.AlexNet 最早的現(xiàn)代神經(jīng)網(wǎng)絡3.VGG,GoogleNet,ResNet.近期的高級網(wǎng)絡 LeNet 實例： 利用已有模型進行物體分類/特征提取第十七課遷移學習1 .理論分析2 .遷移模型&原始訓練模型3 .如何設計新的的網(wǎng)絡實例：表情識別/人臉識別/動物識別第十八課與時域信息相關的深度學習1 .RNN2 .LSTM3 .圖片標題生成4 .視頻處理實例：LSTM 用

16、于圖片標題生成第十九課自然語言處理1 .處理之前：speechtotext2 .詞語表達，word2vect3 .語句生成 LSTM實例：根據(jù)上下文回答問題第二十課給予深度學習的目標檢測1 .傳統(tǒng)的目標檢測方法2 .初代算法：RegionCNN3 .升級：SPPNet,FastRCNN,FasterRCNN4 .深度學習另辟蹊徑：YoLo 和 SSD實例：自動駕駛的核心：實時目標檢測第二十一課深度卷積神經(jīng)偶的重要應用1 .圖片問答2 .圖像模式轉換3 .圖像高清化4 .圍棋程序，Alphago5 .自動游戲機器人，DeepMindAtari實例：圖片藝術風格轉化第二十二課無監(jiān)督學習：對抗網(wǎng)絡G

17、AN1 .傳統(tǒng)無監(jiān)督學習 Autoencode,KMeans,SparseCoding2 .RBM 限制博斯曼機，深度學習的另一支3 .生成對抗網(wǎng)絡 GAN實例：機器生成圖片，以假亂真第二十三課：遷移學習第二十四課：增強學習記憶模型，遠超過 RNN 的 GTMM第二十五課：二值神經(jīng)網(wǎng)絡普通二值神經(jīng)網(wǎng)絡，YodaNNXLA 如何讓機器學習在 TensorFlow 上提升速度第二十六課：對偶學習納米神經(jīng)網(wǎng)絡 NanoNetAsolutiontothesingle-questioncrowdwisdomproblem（選自自然雜志意味流行算法解決群體智慧中缺陷）語義理解（目前自然語言界最大難關）使用

18、 LSTM+Attion 解決像素卷積神經(jīng)網(wǎng)絡（PixelCNN+）可將圖像生成速度提高 183 倍WaveNetRLSSscheduletobepostedsoon（深度學習與強化學習暑期學校）機器與大腦學習項目課程計劃CNNsRNNsGenerativeModels2ComputationalNeuroscience1LearningtolearnCoffeBreakNeuralNetworksStructuredModels/AdvancedVisionProbabillsticNumericsNaturalLanguageUnderstandingComputational常見問題:Q:會有實際上機演示和動手操作嗎？A:有，幾乎每節(jié)課，老師均會準備上機演示部分