深度學(xué)習(xí)簡介

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代的光芒被后來的互聯(lián)網(wǎng)掩蓋了。但這幾年，恰恰又是互聯(lián)網(wǎng)產(chǎn)生的海量數(shù)據(jù)給了神經(jīng)網(wǎng)絡(luò)更大的機會。人工智能學(xué)者在計算機系曾經(jīng)是最抬不起頭的，這幾年卻人人都變成了公共知識分子。而目前人工智能領(lǐng)域最火的詞兒就是'深度學(xué)習(xí)〃。神經(jīng)網(wǎng)絡(luò)由一層一層的神經(jīng)元構(gòu)成。層數(shù)越多，就越深，所謂深度學(xué)習(xí)就是用很多層神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)達到機器學(xué)習(xí)的功能。理論上說，如果一層網(wǎng)絡(luò)是一個函數(shù)的話，多層網(wǎng)絡(luò)就是多個函數(shù)的嵌套。網(wǎng)絡(luò)越深，表達能力越強，但伴隨而來的訓(xùn)練復(fù)雜性也急劇加大。目前對神經(jīng)網(wǎng)絡(luò)各種形態(tài)所對應(yīng)的計算復(fù)雜性的研究并不多，從業(yè)者也以工程師、心理學(xué)家和統(tǒng)計學(xué)家為多。辛頓是深度學(xué)習(xí)的先驅(qū)，他和學(xué)生在2006年發(fā)表的兩篇文章開辟了這個新領(lǐng)域，其中登在《科學(xué)》上的那篇提出了降維和逐層預(yù)訓(xùn)練的方法，使得深度網(wǎng)絡(luò)的實用化成為可能。深度神經(jīng)網(wǎng)絡(luò)最后幾層的每個節(jié)點都可對應(yīng)于某些概念。這是神經(jīng)網(wǎng)絡(luò)的一大進步，貌似為“吃啥補啥〃找到了科學(xué)根據(jù)，調(diào)和了與“符號派〃的矛盾。至于符號派買不買賬，就是另一回事了。深度學(xué)習(xí)的實測效果很好。辛頓一直用深度信任網(wǎng)絡(luò)做圖像識別，在2012年舉辦的圖像識別國際大賽ILSVRC(ImageNetLargeScaleVisualRecognitionChallenge)上,辛頓團隊的Supervision以絕對領(lǐng)先的成績擊敗眾競爭對手拔得頭籌。該比賽用1000萬張圖像訓(xùn)練，用15萬張圖像測試，目標(biāo)是識別測試圖像到底是動物，是花兒，還是船，等等。在2012年前，普遍的錯誤率在26%。但Supervision頭次參賽就把錯誤率控制在了15%之下，以超過10%的驚人優(yōu)勢遙遙領(lǐng)先。2009年，微軟研究院的鄧力小組開始和辛頓合作，用深度學(xué)習(xí)加上隱馬爾科夫模型開發(fā)可實用的語音識別和同聲翻譯系統(tǒng)，2011年取得突破。2012年，微軟負(fù)責(zé)研發(fā)的拉希德(RickRashid)在天津舉行的一次會議上現(xiàn)場演示，他用英文演講，機器用中文實時翻譯，甚至中文合成的聲音跟他自己的聲色都非常相像。微軟把這一成果迅速產(chǎn)品化，微軟收購的聊天工具Skype首先得益，整合了實時語音翻譯的功能。此后，語音識別問題已經(jīng)被認(rèn)為徹底解決了?，F(xiàn)在即使開源的軟件都可以達到很高的識別率。中國的騰訊和科大訊飛等也都有此類產(chǎn)品。年過60歲的辛頓不甘寂寞，和他的兩個學(xué)生開了家專注深度學(xué)習(xí)的公司。公司成立沒多長時間，谷歌和微軟就對這家公司動了收購的念頭，后來百度也加入競標(biāo)，最終花落谷歌，谷歌出了幾千萬美元，于2013年初收購了這家只有三名員工的公司。為了把辛頓納入花名冊，谷歌還真不差錢。有意思的是，機器學(xué)習(xí)的幾個主要研究團隊都在加拿大，例如多倫多的辛頓、蒙特利爾的班喬(YoshuaBengio)和阿爾伯塔的薩頓(RichardSutton)。辛頓和薩頓的金主都是谷歌，他們陸續(xù)遷往加拿大都是在神經(jīng)網(wǎng)絡(luò)研究不招人待見的時期。無獨有偶，王浩的學(xué)生庫克(SteveCook)也是在慘遭加州大學(xué)伯克利分校拒絕終身教職后遷往多倫多的。2012年，時任斯坦福大學(xué)人工智能實驗室主任的吳恩達和谷歌合作建造了一個當(dāng)時最大的神經(jīng)網(wǎng)絡(luò)，這是谷歌神秘的X實驗室的一個計劃。網(wǎng)絡(luò)上一度瘋傳的谷歌貓臉識別就是用的這個參數(shù)多達十七億的神經(jīng)網(wǎng)絡(luò)。后來，吳恩達在斯坦福大學(xué)又搞了個更大的神經(jīng)網(wǎng)絡(luò)，參數(shù)高達一百一十二億。人腦的神經(jīng)連接有一百萬萬億個。從計算能力上說，如果這個人工神經(jīng)網(wǎng)絡(luò)要能接近大腦，每個人工神經(jīng)元必須達到一萬個大腦神經(jīng)元的功能。這個神經(jīng)網(wǎng)絡(luò)會用到大量的圖形處理芯片GPU，GPU一度是模擬神經(jīng)網(wǎng)絡(luò)的完美硬件，因為每個GPU芯片內(nèi)都有大量的小核心。這和神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性天然相似。硬件的進步讓以往不可能的成為了可能°GPU的廠商Nvidia股票也一路飆升。對計算量的需求是沒有止境的，新的芯片技術(shù)也被用到深度學(xué)習(xí)中，先是有人試圖用FPGA（可編程陣列）和ASIC實現(xiàn)各種深度學(xué)習(xí)算法，后來谷歌推出了專用芯片TPU。人工智能的統(tǒng)計派或神經(jīng)網(wǎng)絡(luò)派和邏輯派或符號派之爭是從1956年達特茅斯會議開始的。明斯基的合作者佩珀特曾說神經(jīng)派和符號派的區(qū)別就像分子生物學(xué)和進化生物學(xué)的區(qū)別，甚至有人因而爭論大學(xué)的數(shù)學(xué)課應(yīng)該以微積分為主還是以統(tǒng)計為主。新派自然是以統(tǒng)計為主。斯坦福大學(xué)人工智能實驗室的創(chuàng)辦人麥卡錫，是達特茅斯會議的主要組織者，"人工智能〃這個詞如果不是他最早提出的，至少是他最早使之流行的。也正是他把明斯基拉到了他當(dāng)時任教的麻省理工學(xué)院。說他是“人工智能之父〃是名副其實的，約翰大叔是鐵桿的符號派。