Python計算機視覺編程與應(yīng)用 課件 第10章 深度學習及其在計算機視覺中的應(yīng)用

深度學習及其在計算機視覺中的應(yīng)用常見應(yīng)用場景目錄01卷積神經(jīng)網(wǎng)絡(luò)02生成對抗網(wǎng)絡(luò)03資源卷積神經(jīng)網(wǎng)絡(luò)回顧：卷積空間相關(guān)與卷積回顧：卷積空間相關(guān)與卷積回顧：卷積離散卷積的邊緣效應(yīng)回顧：卷積離散卷積的邊緣效應(yīng)忽略這些點輸出尺寸<輸入尺寸使用常數(shù)填充圖像保證圖像不收縮，但會在邊緣產(chǎn)生梯度Zero-Padding其他方法填充圖像edge-paddingreflect-padding擴展：“學習”模板模板的參數(shù)是否可以進行學習？卷積神經(jīng)網(wǎng)絡(luò)深度學習（DeepLearning）conv2d展成列向量spreadlinear(c_in,c_out)卷積神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)表示：矩陣，張量（Tensor）卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：卷積層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：卷積層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：卷積層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：卷積層size=3c_in=3c_out=2stride=1padding=0卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：卷積層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：卷積層擴展：深度學習基本操作單元：激活層ReLU卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：激活層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：激活層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：池化Pooling/降采樣層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：池化Pooling/降采樣層卷積神經(jīng)網(wǎng)絡(luò)池化Pooling/降采樣層卷積神經(jīng)網(wǎng)絡(luò)基本操作單元：池化Pooling/降采樣層卷積神經(jīng)網(wǎng)絡(luò)典型網(wǎng)絡(luò)結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)典型網(wǎng)絡(luò)結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)目標函數(shù)：損失Loss/誤差卷積神經(jīng)網(wǎng)絡(luò)目標函數(shù)：損失/誤差卷積神經(jīng)網(wǎng)絡(luò)目標函數(shù)：損失Loss/誤差優(yōu)化方法梯度下降隨機梯度下降SGDAdamRMSprop...卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化/訓練/學習卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化/訓練/學習卷積神經(jīng)網(wǎng)絡(luò)CNN以圖像的原始像素作為輸入，基于輸出層定義的損失函數(shù)使用反向傳播算法端到端(End-to-end)學習，從而自動學習得到圖像底層到高層的層次化語義表達卷積神經(jīng)網(wǎng)絡(luò)深度特征學習L=||y-f(x)||1L=1,ify≠f(x)L=CE(y,f(x))交叉熵擴展：深度學習深度特征學習卷積神經(jīng)網(wǎng)絡(luò)CNN模型結(jié)構(gòu)變遷針對移動端的輕量型網(wǎng)絡(luò)LeNet(1998)AlexNet(2012)VGGNet(2014)NIN(2013)GoogLeNet(2014)ResNet(2015)DenseNet(2016)MobileNetV3(2016.04)ShuffleNet(2016.06)Xception(2016.10)SqueezeNet(2016.02)NAS(2018)研究課題舉例：人臉識別AlphaGo分布式系統(tǒng)：1202個CPU和176塊GPU單機版：48個CPU和8塊GPU走子速度：3毫秒-2微秒目標檢測（ObjectDetection）MaskRCNNOCR圖像生成DeepDream風格遷移對抗樣本研究課題舉例：醫(yī)學影像智能輔助診斷Zhu,Wentao,etal."DeepLung:3DDeepConvolutionalNetsforAutomatedPulmonaryNoduleDetectionandClassification."(2017).生成對抗網(wǎng)絡(luò)GAN是什么生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork,GAN）生成器G生成讓D無法判斷真假的樣本輸入z：從一個先驗概率分布取樣的隨機向量輸出G(z)：生成的樣本判別器D判斷樣本是真實的還是生成的輸入：真實樣本/G生成的樣本輸出：對真實樣本輸出1，生成樣本輸出0GAN是什么生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork,GAN）GD對抗GAN是什么DeepConvolutionGAN全部都是卷積層需要使用VirtualBatchNormalizationLeakyReLU作為激活函數(shù)DCGANGeneratorNetwork(Pytorch)DiscriminatorNetwork(Pytorch)GAN是什么

GAN是什么

DCGANDCGANsforLSUNBedroomsGAN是什么DensityEstimationDiscriminativemodel:p(y|x)y=0（大象elephant），y=1（馬，horse）Generativemodel:p(x|y)p(x|y=0)p(x|y=1)GAN是什么GAN是什么/jayleicn/animeGAN示例：生成小姐姐GAN是什么示例：生成人臉（PG-GAN,BigGAN,StyleGANetc.）GAN是什么ConditionalGAN(cGANorPix2Pix)GAN是什么ConditionalGAN(cGANorPix2Pix)GAN是什么U-Net(Pix2Pix)GAN是什么DiscriminatorStructure:PatchGAN(Pix2Pix)GAN是什么LossFunction:AdversarialLoss+L1ReconstructionLossGAN能干什么？ImageCompletion/Inpainting[17]IizukaS,Simo-SerraE,IshikawaH.Globallyandlocallyconsistentimagecompletion[J].ACMTransactionsonGraphics(ToG),2017,36(4):107.GAN能干什么？ImageSuper-Resolution圖像超分辨率重建SRGANESRGAN

[18]LedigC,TheisL,HuszárF,etal.Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017:4681-4690.GAN能干什么？Anime4K：/bloc97/Anime4K開源算法，能在動畫播放中，實時把畫面變成4k，延時低至3毫秒。能把720p/1080p變成2160p，也能把480p變成1080pGAN能干什么？ConditionalGANGAN能干什么？自動上妝MakeupBeautyGANGAN能干什么？由左至右依次為：經(jīng)修改的圖像、檢測到修改、自動還原后的圖像、原始圖像自動卸妝GAN能干什么？GAN能干什么？Text2ImageAttnGANStackGANStackGAN++GAN能干什么？圖像屬性編輯GAN能干什么？人臉轉(zhuǎn)正GAN能干什么？圖像修復圖像去雨/去霧圖像補全圖像超分辨率重建GAN能干什么？由左至右依次為：經(jīng)修改的圖像、檢測到修改、自動還原后的圖像、原始圖像圖像合成GAN能干什么？視頻生成[21]WangTC,LiuMY,ZhuJY,etal.Video-to-videosynthesis[J].arXivpreprintarXiv:1808.06601,2018.GAN能干什么？FacePhoto-SketchSynthesis擴展：深度學習深度學習框架擴展：深度學習PytorchHub模型庫參考資料ComputerVision:AModernApproachbyDavidForsythandJeanPonce(2nded.)ComputerVision:AlgorithmsandApplications,byRichardSzeliski,/Book/計算攝影