PaddlePaddle深度學(xué)習(xí)框架介紹

1、PaddlePaddle 深度學(xué)習(xí)框架介紹Towards a Deep Learning CompilerPaddlePaddle歷史百度內(nèi)部項(xiàng)目四年前由徐偉老師發(fā)起50+百度內(nèi)部產(chǎn)品使用獲得兩次百度百萬美元最高獎(jiǎng)開源前開源后2016年9月開源開源后TechLeader - 王益新的PythonAPI支持瀏覽器編程，云端運(yùn)行深度整合Kubernetes發(fā)布PaddlePaddle Fluid深度學(xué)習(xí)框架歷史基于層的深度學(xué)習(xí) 框架用Sequence OfLayer表示神經(jīng)網(wǎng)絡(luò)基于Op的深度學(xué)習(xí)框 架用DAG表示神經(jīng)網(wǎng)絡(luò)命令式編程的深度 學(xué)習(xí)框架使用編程語句表示 神經(jīng)網(wǎng)絡(luò)四年前兩年前目前深度學(xué)習(xí)框

2、架歷史四年時(shí)間，發(fā)展出三代深度學(xué)習(xí)系統(tǒng)深度學(xué)習(xí)系統(tǒng)表達(dá)能力越來越強(qiáng)Sequence of Layer適應(yīng)CNNSymbolic Programming paradigmDAG可以適應(yīng)RNN，并減少框架核心的代碼量Symbolic Programming paradigmImperative programming不區(qū)分神經(jīng)網(wǎng)絡(luò)的配置和執(zhí)行。神經(jīng)網(wǎng)絡(luò)邊配置邊執(zhí)行。Symbolic 神經(jīng)網(wǎng)絡(luò)框架的問題缺乏像編程語言般的靈活性舉例:RNN會(huì)按照展開成多份靜態(tài)網(wǎng)絡(luò)每份靜態(tài)的網(wǎng)絡(luò)只能處理同樣形狀(Shape)的數(shù)據(jù)。PyTorch的命令式編程范式借用了其他編程語言的控制流好處:框架本身不用關(guān)心If/El

3、se, While如何實(shí)現(xiàn)問題:無法序列化網(wǎng)絡(luò)。不能很好的部署、集群并行。性能優(yōu)化空間小。編譯器的主要模塊FrontendCommon OptimizerBackendSource CodeMachine CodePaddlePaddle-Fluid編譯器設(shè)計(jì)思路Python FrontendOther Language frontendProgramDesc (Nested Block)MultiGPU BackendCluster BackendFPGA Backend編譯階段與運(yùn)行階段分離編譯階段描述計(jì)算流程編譯結(jié)果是ProgramDesc類似編程語言中的AST(抽象語法樹)設(shè)備無關(guān)優(yōu)化

4、在編譯階段完成不同執(zhí)行器后端根據(jù)設(shè)備特性對(duì)Program進(jìn)行優(yōu)化、運(yùn)行BlockPaddlePaddle-Fluid將計(jì)算描述成嵌套的Block，而不是DAG。編程語PaddlePaddleFor, whileWhileOpIf-Else, SwitchIfElseOp順序執(zhí)行指令(Op)序列RNN / LoopIf-else / IfElseOp更強(qiáng)的IfElse/While與PyTorch/DyNet實(shí)現(xiàn)動(dòng)態(tài)網(wǎng)絡(luò)的機(jī)制不同，F(xiàn)luid實(shí)現(xiàn)動(dòng)態(tài)的IfElse/While操作動(dòng)態(tài):每一個(gè)mini-batch中的每條數(shù)據(jù)的分支都可以不同高效:數(shù)據(jù)自動(dòng)基于Batch運(yùn)行，無補(bǔ)零PaddlePadd

5、le-Fluid RNN執(zhí)行流程RNNFCLossLossLossAvgLossLossFCRNNLossFCRNNLossFCRNNLossFCRNNLossFCRNNLossFCRNNLossFCRNNFCRNNFCRNN執(zhí)行器優(yōu)化: 單設(shè)備多設(shè)備DataFC FCDataFCFCFCFCFCFCFCFCFusible執(zhí)行器優(yōu)化: Kernel FusionOpOp OpOpOpFused OpOp從單機(jī)到多機(jī)本地訓(xùn)練程序編譯出中間結(jié)果 Program本地訓(xùn)練程序?qū)⒅虚g結(jié)果上傳給集群Master節(jié)點(diǎn)集群Master節(jié)點(diǎn)將單機(jī)Program分解變換成集群每個(gè)節(jié)點(diǎn)需要執(zhí)行的 程序從單機(jī)到多機(jī)LaoptopMasterLocalData ParallelismWorkerRole=PServerWorkerRole=PServerWorkerRole=PServerWorkerRole=TrainerWorkerRole=TrainerModel ParallelismWorkerWorkerWorkerProgramProgramProgram項(xiàng)目信息Main Repo/Paddle