大數(shù)據(jù)時(shí)代人工智能應(yīng)用

大數(shù)據(jù)時(shí)代人工智能應(yīng)用AlphaGo究竟有多厲害？2023年，北京郵電大學(xué)的Lingo圍棋程序在9*9棋盤上以受讓兩子的條件，首次擊敗了中國(guó)圍棋教練職業(yè)圍棋9段俞斌和先生。那時(shí)，誰(shuí)也沒(méi)有想到僅僅5年之后，AlphaGo圍棋程序就在19*19棋盤上無(wú)條件戰(zhàn)勝了人類棋王。研制AlphaGo的團(tuán)隊(duì)DeepMind正在投入AlphaSC的研發(fā)，將來(lái)將于人類頂尖高手在星際爭(zhēng)霸游戲中一較高下。2AlphaGo怎么做到的？AlphaGo使用兩種不同的深度神經(jīng)網(wǎng)絡(luò)：第一種是策略網(wǎng)絡(luò)，目的是選擇在哪里落子。第二種則是價(jià)值網(wǎng)絡(luò)，價(jià)值網(wǎng)絡(luò)的作用是衡量走這一步對(duì)最終輸贏的影響。AlphaGo成功的關(guān)鍵在于:海量對(duì)弈數(shù)據(jù)：6000萬(wàn)局對(duì)弈數(shù)據(jù)。算法創(chuàng)新：深度神經(jīng)網(wǎng)絡(luò)+“左右手互搏”。計(jì)算能力出眾：打敗李世石的AlphaGoLee的芯片為50TPU,搜索速度為10k位置/秒。人類專家位置監(jiān)督式學(xué)習(xí)強(qiáng)化學(xué)習(xí)3AlphaGo絕非一帆風(fēng)順3月13日李世石九段“神之一手”“AlphaGo遠(yuǎn)非人工智能的終點(diǎn)?！蔽④浹芯吭褐麢C(jī)器學(xué)習(xí)教授JohnLangford批評(píng)了Wired和Slashdot等媒體對(duì)于“實(shí)現(xiàn)人工智能”夸張其詞的有關(guān)報(bào)道。Langford覺得這些進(jìn)展本是好事，但報(bào)道的時(shí)候產(chǎn)生了偏差，這輕易造成失望和人工智能寒冬。JohnLangford國(guó)際機(jī)器學(xué)習(xí)大會(huì)ICML2023程序主席“AlphaGo覺得自己做的很好，但在87手困惑了，有麻煩了”“錯(cuò)誤在第79手，但AlphaGo到第87手才發(fā)覺”4從AlphaGo到AlphaGoMaster60-0vs頂級(jí)專業(yè)人士（在線游戲）等級(jí)分專業(yè)級(jí)業(yè)余級(jí)入門級(jí)2023年7月9日,柯潔攜20連勝,等級(jí)分沖至3675分，世界排名第一。5震撼之后的思索什么是人工智能？為何那么厲害？AlphaGo將來(lái)有無(wú)可能被人類打??？人工智能技術(shù)將來(lái)有無(wú)可能取代人類？為何？人工智能能夠幫助人類完畢哪些事情？人工智能已經(jīng)出目前哪些領(lǐng)域，今后還會(huì)出目前哪些領(lǐng)域？6大數(shù)據(jù)時(shí)代的人工智能

內(nèi)容提要人工智能基本概念與發(fā)展歷史人工智能與大數(shù)據(jù)人工智能在氣象領(lǐng)域的應(yīng)用案例人工智能在環(huán)境保護(hù)領(lǐng)域的應(yīng)用案例人工智能在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用案例人工智能面臨的機(jī)遇與挑戰(zhàn)總結(jié)與展望8內(nèi)容提要人工智能基本概念與發(fā)展歷史人工智能與大數(shù)據(jù)人工智能在氣象領(lǐng)域的應(yīng)用案例人工智能在環(huán)境保護(hù)領(lǐng)域的應(yīng)用案例人工智能在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用案例人工智能面臨的機(jī)遇與挑戰(zhàn)總結(jié)與展望9什么是智能智力或知能是指生物一般性的精神能力。這個(gè)能力涉及如下幾點(diǎn)：了解、計(jì)劃、處理問(wèn)題，抽象思維，體現(xiàn)意念以及語(yǔ)言和學(xué)習(xí)的能力。智力三原因理論(RobertSternberg)成份性智力(componentialintelligence),指思維和問(wèn)題處理所依賴的心理過(guò)程。經(jīng)驗(yàn)智力(experientialintelligence),指人們?cè)趦煞N極端情況下處理問(wèn)題的能力：新異的或常規(guī)的問(wèn)題。情境智力(contextualintelligence)反應(yīng)，在對(duì)日常事物的處理上，它涉及對(duì)新的和不同環(huán)境的適應(yīng)，選擇合適的環(huán)境以及有效地變化環(huán)境以適應(yīng)你的需要。RobertSternberg（1949-）是美國(guó)心理學(xué)家和心理測(cè)量學(xué)家。他是康奈爾大學(xué)人類發(fā)展教授。10什么是人工智能人工智能（ArtificialIntelligence,AI）也稱作機(jī)器智能，是指由人工制造出來(lái)的系統(tǒng)所體現(xiàn)出來(lái)的智能。一般人工智能是指經(jīng)過(guò)一般計(jì)算機(jī)實(shí)現(xiàn)的智能。人工智能研究研究?jī)?nèi)容：涉及認(rèn)知建模、知識(shí)學(xué)習(xí)、推理及應(yīng)用、機(jī)器感知、機(jī)器思維、機(jī)器學(xué)習(xí)、機(jī)器行為和智能系統(tǒng)等。研究動(dòng)機(jī)：涉及推理，知識(shí)，規(guī)劃，學(xué)習(xí)，交流，感知，移動(dòng)和操作物體的能力等?；A(chǔ)知識(shí)：涉及搜索和數(shù)學(xué)優(yōu)化，邏輯，基于概率論和經(jīng)濟(jì)學(xué)的措施等。應(yīng)用系統(tǒng)：目前有大量的人工智能應(yīng)用系統(tǒng)，如AlphaGo,Siri等。11人工智能的三大發(fā)展要素基礎(chǔ)理論引入有關(guān)學(xué)科交叉多領(lǐng)域應(yīng)用機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘人工智能數(shù)學(xué)統(tǒng)計(jì)學(xué)認(rèn)知科學(xué)神經(jīng)科學(xué)……控制論12人工智能發(fā)展歷程中的里程碑(1)-圖靈測(cè)試圖靈測(cè)試(1950)一種人(C)問(wèn)詢兩個(gè)他看不見的對(duì)象（機(jī)器A和正常思維的人B）。假如經(jīng)過(guò)若干問(wèn)詢后，C無(wú)法辨別A與B，則A經(jīng)過(guò)圖靈測(cè)試。聊天機(jī)器人EugeneGoostman(2023)在5分鐘內(nèi)試圖欺騙30%的人。圖靈測(cè)試額外加分項(xiàng)：說(shuō)服測(cè)試者，令他覺得自己是電腦。你懂得嗎，你說(shuō)的這些話真的很有道理。我……我已經(jīng)不懂得自己究竟是誰(shuí)了。13人工智能發(fā)展歷程中的里程碑(2)-深藍(lán)vs卡斯帕羅夫1997年，IBM研制的超級(jí)電腦“深藍(lán)”在原則比賽時(shí)限內(nèi)以3.5比2.5的合計(jì)積分擊敗了國(guó)際象棋世界冠軍卡斯帕羅夫，震驚世界?！吧钏{(lán)”的設(shè)計(jì)者許峰雄曾表達(dá)，一般的國(guó)際象棋手能想到后7步就很不錯(cuò)了，但“深藍(lán)”能想到12步，甚至40步遠(yuǎn)，棋手當(dāng)然不是計(jì)算機(jī)的對(duì)手。插曲：卡斯帕羅夫在落敗后曾稱無(wú)法了解電腦下棋時(shí)做出的決定。他亦覺得電腦在棋局中可能得到人類幫助并要求重賽，但I(xiàn)BM拒絕。思索：深藍(lán)靠什么打敗了卡斯帕羅夫？深藍(lán)能否擊敗李世石？為何？14人工智能發(fā)展歷程中的里程碑(3)-Waston與人機(jī)大戰(zhàn)2023年2月16日，在美國(guó)智力競(jìng)猜節(jié)目《危險(xiǎn)邊沿》第三場(chǎng)比賽中，IBM另一超級(jí)電腦“沃森”以三倍的巨大分?jǐn)?shù)優(yōu)勢(shì)力壓該競(jìng)猜節(jié)目有史以來(lái)最強(qiáng)的兩位選手肯·詹寧斯和布拉德·魯特，奪得這場(chǎng)人機(jī)大戰(zhàn)的冠軍?！拔稚痹诒荣愔袥](méi)有連接互聯(lián)網(wǎng)，其數(shù)據(jù)庫(kù)中涉及辭海和《世界圖書百科全書》等數(shù)百萬(wàn)份資料，強(qiáng)大的硬件則助力其能在3秒鐘之內(nèi)檢索數(shù)億頁(yè)的材料并給出答案。思索：就面臨的挑戰(zhàn)來(lái)說(shuō)，“沃森”相比深藍(lán)有哪些不同？“沃森”的特點(diǎn)是什么？“沃森”有可能勝任AlphaGo的工作嗎？15人工智能發(fā)展歷程中的里程碑(4)-圖像辨認(rèn)領(lǐng)域機(jī)器首次超越人類2023年的ImageNet挑戰(zhàn)賽，在圖像辨認(rèn)精確率上，機(jī)器的體現(xiàn)首次超出了人類。這被公覺得是一種里程碑式的突破。在此之前，2023年算法的圖像辨認(rèn)錯(cuò)誤率至少在25%左右，但到2023年，計(jì)算機(jī)圖像辨認(rèn)錯(cuò)誤率已經(jīng)低于人類（人類水平大約是4%左右）。2023年是0.03567，也就是3.5%。2023年，ImageNet競(jìng)賽，圖像辨認(rèn)錯(cuò)誤率進(jìn)一步下降，最佳成績(jī)?yōu)椋浩骄e(cuò)誤率0.02991，也就是2.99%左右。思索:這一次的人工智能突破和前幾次相比有何不同?16人工智能發(fā)展（簡(jiǎn)史）混沌初生開天辟地百家爭(zhēng)鳴百花齊放物競(jìng)天擇適者生存達(dá)特茅斯會(huì)議的召開標(biāo)志著人工智能的誕生。（1956年）圖靈測(cè)試的提出標(biāo)志人工智能進(jìn)入萌芽階段。以DENDRAL系統(tǒng)為代表的教授系統(tǒng)大量涌現(xiàn)。（1970~1980）淺層機(jī)器學(xué)習(xí)模型興起，SVM、LR、Boosting算法等紛紛面世。（1990~2023）多倫多大學(xué)教授Hinton開啟深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮（2023）人工智能出現(xiàn)新的研究高潮，機(jī)器開始經(jīng)過(guò)視頻學(xué)習(xí)辨認(rèn)人和事物，AlphaGo戰(zhàn)勝圍棋冠軍（2023~今）伴隨新的算法和模型不斷涌現(xiàn)，學(xué)科交叉現(xiàn)象日趨明顯，人工智能的研究進(jìn)入了新的階段。奠定了人工智能的數(shù)學(xué)基礎(chǔ)，出現(xiàn)了人工智能歷史上的第一種應(yīng)用。-西蒙和紐厄爾提出了“LogicTheorist”自動(dòng)定理證明系統(tǒng)。大數(shù)據(jù)時(shí)代的到來(lái)給人工智能的發(fā)展帶來(lái)契機(jī)，人工智能全方面融入人們的社會(huì)生活。17人工智能發(fā)展的真實(shí)歷史過(guò)程（波浪式邁進(jìn)）近來(lái)一次的人工智能熱潮興起，是因?yàn)榇髷?shù)據(jù)時(shí)代使得數(shù)據(jù)需求得到了滿足。達(dá)特茅斯會(huì)議標(biāo)志AI的誕生自然語(yǔ)言探索式推理微世界第一款神經(jīng)網(wǎng)絡(luò)—感知機(jī)，將人工智能推向第一個(gè)高峰人工智能計(jì)算機(jī)DARPA無(wú)條件撥款放棄聯(lián)結(jié)主義計(jì)算能力突破沒(méi)能使機(jī)器完成大規(guī)模數(shù)據(jù)訓(xùn)練和復(fù)雜任務(wù)，AI進(jìn)入第一個(gè)低谷DARPA停止撥款集成電路技術(shù)提高反向傳播算法提出霍普菲爾德神經(jīng)網(wǎng)絡(luò)被提出DARPA受到認(rèn)可重獲撥款反向傳播算法獲得廣泛關(guān)注，AI進(jìn)入第二黃金時(shí)期循環(huán)神經(jīng)網(wǎng)絡(luò)狂熱追捧帶來(lái)失望LISP機(jī)市場(chǎng)的崩潰DARPA失敗，政府投入縮減，AI跌入第二次谷底行為主義提出非線性多層自適應(yīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)出現(xiàn)IBM深藍(lán)戰(zhàn)勝人類象棋冠軍深度卷積神經(jīng)網(wǎng)絡(luò)提出人工智能加速發(fā)展人臉識(shí)別率超過(guò)99%歐盟、美國(guó)腦工程計(jì)劃AlphaGo挑戰(zhàn)人類圍棋冠軍計(jì)算能力數(shù)據(jù)需求下一個(gè)問(wèn)題呢啟蒙階段低潮時(shí)期復(fù)興階段遇冷時(shí)期快速發(fā)展195520162005199119861970195818內(nèi)容提要人工智能基本概念與發(fā)展歷史人工智能與大數(shù)據(jù)人工智能在氣象領(lǐng)域的應(yīng)用案例人工智能在環(huán)境保護(hù)領(lǐng)域的應(yīng)用案例人工智能在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用案例人工智能面臨的機(jī)遇與挑戰(zhàn)總結(jié)與展望19大數(shù)據(jù)是什么？大數(shù)據(jù)（BigData）:是指大小超出了常用軟件工具在運(yùn)營(yíng)時(shí)間內(nèi)能夠承受的搜集、管理和處理數(shù)據(jù)能力的數(shù)據(jù)集。大數(shù)據(jù)是目前存儲(chǔ)模式與能力、計(jì)算模式與能力不能滿足存儲(chǔ)與處理既有數(shù)據(jù)集規(guī)模產(chǎn)生的相對(duì)概念。20大數(shù)據(jù)真正價(jià)值不在于大數(shù)據(jù)本身，而在于數(shù)據(jù)內(nèi)容的分析和洞察。大數(shù)據(jù)時(shí)代的5V特點(diǎn)21大數(shù)據(jù)時(shí)代的要求大數(shù)據(jù)規(guī)模大小是一種不斷演化的指標(biāo)目前任務(wù)處理的單一的數(shù)據(jù)集目前數(shù)據(jù)規(guī)模：從數(shù)十TB到十幾PB級(jí)處理大數(shù)據(jù)的可等待的合理時(shí)間依賴應(yīng)用場(chǎng)景地震數(shù)據(jù)預(yù)測(cè)要求在幾分鐘內(nèi)才有效氣象數(shù)據(jù)應(yīng)該在小時(shí)級(jí)別失聯(lián)飛機(jī)數(shù)據(jù)處理要在7天之內(nèi)數(shù)據(jù)挖掘一般要求在12小時(shí)內(nèi)大數(shù)據(jù)時(shí)代需要人工智能技術(shù)同步滿足以上兩個(gè)要求。22大數(shù)據(jù)時(shí)代需要什么樣的人工智能？能適應(yīng)反應(yīng)大數(shù)據(jù)分布的抽樣措施解剖麻雀基于大數(shù)據(jù)分布的算法庖丁解牛追求高效并行的人工智能算法曹沖稱象反應(yīng)全量特征的人工智能算法治大國(guó)如烹小鮮23大數(shù)據(jù)時(shí)代的人工智能技術(shù)不斷涌現(xiàn)互聯(lián)網(wǎng)搜索生物特征辨認(rèn)汽車自動(dòng)駕駛智能機(jī)器人選舉成果預(yù)測(cè)智能客服系統(tǒng)24人工智能的應(yīng)用范圍和領(lǐng)域不斷拓展人工智能應(yīng)用圖像辨認(rèn)語(yǔ)音辨認(rèn)文字辨認(rèn)其他信號(hào)辨認(rèn)無(wú)人駕駛?cè)四槺嬲J(rèn)場(chǎng)景感知?dú)庀箢A(yù)報(bào)文件篩選污染預(yù)報(bào)醫(yī)學(xué)影像分析虹膜辨認(rèn)視頻監(jiān)控計(jì)算機(jī)春聯(lián)手寫數(shù)字辨認(rèn)智能交通智能客服智能庭審統(tǒng)計(jì)小米基因篩選網(wǎng)絡(luò)安全計(jì)算機(jī)寫詩(shī)25內(nèi)容提要人工智能基本概念與發(fā)展歷史人工智能與大數(shù)據(jù)人工智能在氣象領(lǐng)域的應(yīng)用案例人工智能在環(huán)境保護(hù)領(lǐng)域的應(yīng)用案例人工智能在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用案例人工智能面臨的機(jī)遇與挑戰(zhàn)總結(jié)與展望26人機(jī)交互層基于人工智能技術(shù)的強(qiáng)對(duì)流天氣聚焦與推演方案目的：聚焦：輔助決策。從海量數(shù)據(jù)中聚焦關(guān)鍵特征和要點(diǎn)區(qū)域，輔助氣象教授進(jìn)行決策；推演：幫助研判。提供智能推演，幫助氣象教授對(duì)將來(lái)3小時(shí)的天氣形勢(shì)進(jìn)行研判。方案特點(diǎn)：采用人工智能技術(shù)綜合利用多種深度學(xué)習(xí)算法半構(gòu)造化與非構(gòu)造化大數(shù)據(jù)處理技術(shù)雷達(dá)反射圖關(guān)鍵模塊氣象數(shù)據(jù)展示效果模型算法多層神經(jīng)網(wǎng)絡(luò)Softmax線性模型卷積神經(jīng)網(wǎng)絡(luò)（CNN）循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）衛(wèi)星云圖GRIB2在分析預(yù)報(bào)場(chǎng)資料關(guān)鍵特征辨認(rèn)要點(diǎn)區(qū)域辨認(rèn)時(shí)空特征學(xué)習(xí)天氣變化推演將來(lái)3小時(shí)強(qiáng)對(duì)流天氣模擬推演關(guān)鍵特征和要點(diǎn)區(qū)域2維效果展示層系統(tǒng)層模型層數(shù)據(jù)層輔助人工決策提供智能推演氣象教授最終氣象預(yù)報(bào)成果歷史對(duì)流過(guò)程標(biāo)注數(shù)據(jù)27與老式措施的比較擁有深度自學(xué)習(xí)能力。認(rèn)知計(jì)算無(wú)需先驗(yàn)知識(shí)，即可從海量歷史數(shù)據(jù)中進(jìn)行訓(xùn)練學(xué)習(xí)，并挖掘潛在的規(guī)律和模式。同步，認(rèn)知計(jì)算能夠根據(jù)每天產(chǎn)生的氣象數(shù)據(jù)進(jìn)行自動(dòng)學(xué)習(xí)，自我調(diào)整以適應(yīng)天氣變化的最新情況。擁有基于大數(shù)據(jù)的輔助決策能力。能夠充分利用氣象歷史數(shù)據(jù)。氣象數(shù)據(jù)越多，搜集時(shí)間越長(zhǎng)，認(rèn)知計(jì)算模型的分析成果越精確。數(shù)據(jù)依賴程度低。認(rèn)知計(jì)算系統(tǒng)只需少許的觀察和再分析數(shù)據(jù)即可完畢份析和推演。基于空氣動(dòng)力學(xué)進(jìn)行數(shù)值計(jì)算。老式數(shù)值措施主要依賴空氣動(dòng)力學(xué)公式對(duì)氣象數(shù)據(jù)進(jìn)行分析，計(jì)算開銷高?；谏僭S歷史數(shù)據(jù)進(jìn)行人工決策。老式數(shù)值措施主要基于少許歷史數(shù)據(jù)，進(jìn)行人工外推。其歷史氣象數(shù)據(jù)未得到充分利用。依賴教授經(jīng)驗(yàn)。老式數(shù)值措施依賴教授根據(jù)其掌握的經(jīng)驗(yàn)進(jìn)行分析和調(diào)整。需要大量的物理變量組合分析。老式數(shù)值措施極難處理物理變量缺失的情況。老式數(shù)值措施人工智能措施28強(qiáng)對(duì)流天氣聚焦700mb高度垂直速度，地面能見度，10米風(fēng)，80米風(fēng)，地表溫度，歷史對(duì)流天氣標(biāo)注成果……輸入?yún)?shù)關(guān)鍵特征識(shí)別重點(diǎn)區(qū)域可視化子系統(tǒng)的構(gòu)成：氣象圖片資料的自動(dòng)解析多層神經(jīng)網(wǎng)絡(luò)模型Softmax線性模型特征預(yù)測(cè)效果評(píng)估模塊多特征自動(dòng)排序模塊要點(diǎn)區(qū)域可視化模塊子系統(tǒng)的特點(diǎn)：支持43+種氣象圖片的自動(dòng)分析綜合利用領(lǐng)先的深度學(xué)習(xí)技術(shù)支持端到端的關(guān)鍵特征辨認(rèn)和排序支持基于計(jì)算機(jī)視覺技術(shù)的要點(diǎn)區(qū)域可視化氣象圖片資料歷史對(duì)流天氣標(biāo)注集多層神經(jīng)網(wǎng)絡(luò)模型單特征預(yù)測(cè)效果評(píng)估訓(xùn)練數(shù)據(jù)驗(yàn)證數(shù)據(jù)多特征自動(dòng)排序氣象圖片資料歷史對(duì)流天氣標(biāo)注集Softmax線性模型格網(wǎng)不同位置權(quán)重解析要點(diǎn)區(qū)域可視化待分析特征注:深度學(xué)習(xí)的成果只能揭示區(qū)域和預(yù)測(cè)目的的有關(guān)性，但不能解釋區(qū)域和預(yù)測(cè)目的的因果關(guān)系。29關(guān)鍵技術(shù)1---關(guān)鍵特征辨認(rèn)與排序候選氣象特征（43個(gè)）地面對(duì)流有效位能2米露點(diǎn)溫度可降水相對(duì)濕度入射短波輻射地面對(duì)流抑制2米相對(duì)濕度700mb高度溫度行星邊界層高度混合對(duì)流有效位能累計(jì)降水700mb高度垂直速度雪水當(dāng)量最不穩(wěn)定對(duì)流有效位能降水類型500mb高度溫度1小時(shí)降雪最不穩(wěn)定層對(duì)流有效位能可降水500mb高度渦度雪深10米風(fēng)航空飛行規(guī)則250mb高度風(fēng)場(chǎng)2米位溫80米風(fēng)925mb高度溫度250mb高度風(fēng)速850mb高度相對(duì)濕度地面能見度850mb高度溫度云頂高度高層云量地表溫度850mb高度風(fēng)場(chǎng)云底高度低層云量2米溫度850mb高度風(fēng)速總云量中層云量模擬雷達(dá)反射率2米溫度-地表溫度850-500mb平均相對(duì)濕度高

低6-10月歷史對(duì)流天氣標(biāo)注集①針對(duì)2023年6月-10月間48個(gè)對(duì)流天氣過(guò)程，根據(jù)其中43個(gè)候選氣象特征，搜集10w+張圖片。②針對(duì)每個(gè)候選特征，應(yīng)用深度學(xué)習(xí)中的多層神經(jīng)網(wǎng)絡(luò)模型對(duì)其預(yù)測(cè)對(duì)流天氣過(guò)程的能力進(jìn)行評(píng)估。③根據(jù)評(píng)估成果，對(duì)不同特征按照預(yù)測(cè)效果進(jìn)行排序。關(guān)鍵特征的辨認(rèn)與排序旨在從海量數(shù)據(jù)中提煉有效特征，幫助氣象教授提升對(duì)流天氣過(guò)程的預(yù)報(bào)精確率。輸入層輸出層隱層I隱層II隱層III誤差反向傳播信息正向傳播30要點(diǎn)區(qū)域①針看待分析特征，按照發(fā)生對(duì)流過(guò)程的類型，對(duì)圖片進(jìn)行分別標(biāo)注。關(guān)鍵技術(shù)2---要點(diǎn)區(qū)域辨認(rèn)②根據(jù)對(duì)流過(guò)程的類型，應(yīng)用softmax線性模型對(duì)不同位置網(wǎng)格點(diǎn)（RGB取值）的主要性(權(quán)重)進(jìn)行評(píng)估，進(jìn)而辨認(rèn)出不同類型天氣的要點(diǎn)區(qū)域，如右圖所示。31③網(wǎng)格點(diǎn)權(quán)重可視化。示例250mb高度風(fēng)場(chǎng)（b）待分析圖片重點(diǎn)區(qū)域可視化旨在從海量地理氣象數(shù)據(jù)中快速發(fā)現(xiàn)重要區(qū)域，輔助氣象專家提升對(duì)流天氣過(guò)程的預(yù)報(bào)精度。如上圖所示，經(jīng)過(guò)比較待分析圖片和原則模板，能夠計(jì)算相應(yīng)區(qū)域的偏差。經(jīng)過(guò)對(duì)偏差的分析比較，能夠精確地辨認(rèn)出待分析圖片將來(lái)1-3h內(nèi)可能發(fā)生的天氣過(guò)程的類型。（a）無(wú)對(duì)流過(guò)程原則模板無(wú)對(duì)流過(guò)程臺(tái)風(fēng)過(guò)程大尺度天氣系統(tǒng)降水過(guò)程局地對(duì)流天氣過(guò)程31要點(diǎn)區(qū)域辨認(rèn)成果驗(yàn)證（示例：250mb高度風(fēng)場(chǎng)）局地對(duì)流天氣2023年10月04日14:00~17:00偏差0.030.410.210.09偏差0.030.330.190.11偏差0.050.210.070.14偏差0.010.010.10.12要點(diǎn)區(qū)域無(wú)對(duì)流過(guò)程臺(tái)風(fēng)過(guò)程大尺度天氣系統(tǒng)降水過(guò)程局地對(duì)流天氣過(guò)程根據(jù)重點(diǎn)區(qū)域的分析結(jié)果，可以分析出未來(lái)出現(xiàn)不同天氣類型的概率。成果驗(yàn)證：系統(tǒng)為預(yù)報(bào)員提供無(wú)對(duì)流天氣過(guò)程模板和要點(diǎn)區(qū)域詳細(xì)位置。預(yù)報(bào)員能夠經(jīng)過(guò)比較要點(diǎn)區(qū)域的偏差情況，分析將來(lái)0-3h出現(xiàn)的天氣類型。2023年10月04日14:002023年10月04日15:002023年10月04日16:002023年10月04日17:0032強(qiáng)對(duì)流天氣推演強(qiáng)對(duì)流天氣推演子系統(tǒng)的構(gòu)成：衛(wèi)星云圖和雷達(dá)反射圖的自動(dòng)解析卷積神經(jīng)網(wǎng)絡(luò)模型循環(huán)神經(jīng)網(wǎng)絡(luò)模型多層網(wǎng)絡(luò)的深度學(xué)習(xí)模型支持將來(lái)天氣的自動(dòng)推演模塊系統(tǒng)特點(diǎn)：經(jīng)過(guò)海量歷史數(shù)據(jù)訓(xùn)練模型時(shí)空特征認(rèn)知空間特征：卷積神經(jīng)網(wǎng)絡(luò)（CNN）時(shí)序特征：循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）利用深度學(xué)習(xí)優(yōu)化模型歷史衛(wèi)星云圖，雷達(dá)反射圖卷積神經(jīng)網(wǎng)絡(luò)層（空間特征提?。┒鄬泳W(wǎng)絡(luò)連接數(shù)據(jù)集將來(lái)天氣自動(dòng)推演循環(huán)神經(jīng)網(wǎng)絡(luò)層（時(shí)間特征提?。r(shí)空特征學(xué)習(xí)深度學(xué)習(xí)優(yōu)化輸出成果無(wú)監(jiān)督學(xué)習(xí)實(shí)時(shí)衛(wèi)星云圖，雷達(dá)反射圖33關(guān)鍵技術(shù)3---基于多層卷積的時(shí)空特征學(xué)習(xí)技術(shù)路線1. 經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取空間特征：在每一層神經(jīng)網(wǎng)絡(luò)中，空間數(shù)據(jù)做卷積等操作，并經(jīng)過(guò)誤差反向傳播學(xué)習(xí)卷積核2. 經(jīng)過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM）提取時(shí)間特征：循環(huán)利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)天氣變化的規(guī)律3. 采用多層卷積層，并循環(huán)利用參數(shù)空間進(jìn)行建模，優(yōu)化后的模型能夠很好的掌握天氣在空間和時(shí)間上的變化規(guī)律1.卷積神經(jīng)網(wǎng)絡(luò)層：經(jīng)過(guò)卷積學(xué)習(xí)天氣的空間特征天氣序列輸入天氣序列輸出3.多層網(wǎng)絡(luò)連接2.循環(huán)神經(jīng)網(wǎng)絡(luò)層：經(jīng)過(guò)循環(huán)層學(xué)習(xí)天氣變化的時(shí)間特征34示例：強(qiáng)對(duì)流天氣推演-雷達(dá)反射圖（示例一）觀察序列2023年8月1日00:00~04:00實(shí)際發(fā)生2023年8月1日05:00~07:00天氣推演2023年8月1日05:00~07:00利用模型推演將來(lái)3個(gè)小時(shí)的天氣變化模型推演到了臺(tái)風(fēng)登陸的位置和時(shí)間模型推演到了臺(tái)風(fēng)移動(dòng)的方向和旋轉(zhuǎn)35示例：強(qiáng)對(duì)流天氣推演-雷達(dá)反射圖（示例一）實(shí)時(shí)天氣2023年8月1日04:003小時(shí)后天氣2023年8月1日07:003小時(shí)后天氣推演2023年8月1日07:00模型能夠推表演左上角逐漸消散的過(guò)程模型能夠推表演左下角的從無(wú)到有模型能夠推表演右下角臺(tái)風(fēng)中心的移動(dòng)和旋轉(zhuǎn)利用模型推演將來(lái)3個(gè)小時(shí)的天氣變化推演到了臺(tái)風(fēng)登陸的位置和時(shí)間36示例：強(qiáng)對(duì)流天氣推演-衛(wèi)星云圖（示例二）實(shí)時(shí)天氣2023年8月3日04:003小時(shí)后天氣2023年8月3日07:003小時(shí)后天氣推演2023年8月3日07:00模型能夠推表演左上角的從無(wú)到有模型能夠推表演右下角的移動(dòng)推表演中心的消散利用模型推演將來(lái)3個(gè)小時(shí)的天氣變化推表演右上角向下方移動(dòng)37內(nèi)容提要人工智能基本概念與發(fā)展歷史人工智能與大數(shù)據(jù)人工智能在氣象領(lǐng)域的應(yīng)用案例人工智能在環(huán)境保護(hù)領(lǐng)域的應(yīng)用案例人工智能在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用案例人工智能面臨的機(jī)遇與挑戰(zhàn)總結(jié)與展望38業(yè)務(wù)需求：需要利用大數(shù)據(jù)分析人工智能等技術(shù)，以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，以分析支持科研業(yè)務(wù)需求許多小的功能因?yàn)榻Y(jié)合不同步期的需求自主開發(fā)，較為零散，造成操作分散需要整合多維度數(shù)據(jù)輔助人工數(shù)據(jù)審核人工生成報(bào)表，查詢指定時(shí)間、指定維度數(shù)據(jù)困難、工作量大使用excel模板生成報(bào)表，易犯錯(cuò)分析層次1.多維度綜合查詢，從Excel中解放出來(lái)2.常規(guī)統(tǒng)計(jì)分析報(bào)表，業(yè)務(wù)輕松一覽統(tǒng)一的數(shù)據(jù)資源池3.高級(jí)模型挖掘，獲取進(jìn)一步洞察**室**室空氣質(zhì)量監(jiān)測(cè)數(shù)據(jù)氣象監(jiān)測(cè)數(shù)據(jù)特殊VOC監(jiān)測(cè)數(shù)據(jù)監(jiān)測(cè)中心的綜合監(jiān)測(cè)站監(jiān)測(cè)數(shù)據(jù)各類設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)PM2.5/TSP/PM10采集稱重?cái)?shù)據(jù)**室重金屬分析OC/EC分析有機(jī)組分分析陰陽(yáng)離子分析**室空氣質(zhì)量監(jiān)測(cè)審核數(shù)據(jù)空氣質(zhì)量監(jiān)測(cè)統(tǒng)計(jì)數(shù)據(jù)潛勢(shì)預(yù)報(bào)產(chǎn)品數(shù)據(jù)**室PM2.5反演圖污染氣體反演圖沙塵反演圖火點(diǎn)反演圖簡(jiǎn)報(bào)/月報(bào)數(shù)據(jù)**室區(qū)縣監(jiān)督性監(jiān)測(cè)數(shù)據(jù)區(qū)縣比對(duì)監(jiān)測(cè)數(shù)據(jù)中心監(jiān)督性監(jiān)測(cè)數(shù)據(jù)激光雷達(dá)監(jiān)測(cè)數(shù)據(jù)垂直氣象要素監(jiān)測(cè)數(shù)據(jù)FDMS分析監(jiān)測(cè)數(shù)據(jù)空氣環(huán)境遙感應(yīng)用監(jiān)測(cè)數(shù)據(jù)污染物化學(xué)組分監(jiān)測(cè)數(shù)據(jù)空氣質(zhì)量日?qǐng)?bào)數(shù)據(jù)空氣質(zhì)量月報(bào)數(shù)據(jù)空氣質(zhì)量年報(bào)數(shù)據(jù)空氣質(zhì)量數(shù)值模型數(shù)據(jù)統(tǒng)計(jì)預(yù)報(bào)產(chǎn)品數(shù)據(jù)氣象模型預(yù)報(bào)產(chǎn)品數(shù)據(jù)空氣重污染預(yù)報(bào)預(yù)警污染源處理模型數(shù)據(jù)案例庫(kù)數(shù)據(jù)面源遙感數(shù)據(jù)激光雷達(dá)數(shù)據(jù)在線源解析結(jié)果情景模擬結(jié)果基準(zhǔn)污染源清單減排污染源清單國(guó)控污染物數(shù)據(jù)簡(jiǎn)報(bào)/月報(bào)數(shù)據(jù)監(jiān)測(cè)數(shù)據(jù)庫(kù)業(yè)務(wù)產(chǎn)品數(shù)據(jù)庫(kù)輔助數(shù)據(jù)庫(kù)運(yùn)行支撐管理數(shù)據(jù)庫(kù)目錄和元數(shù)據(jù)庫(kù)第三方數(shù)據(jù)GIS數(shù)據(jù)總站空氣監(jiān)測(cè)數(shù)據(jù)氣象數(shù)據(jù)。。。大氣環(huán)境業(yè)務(wù)數(shù)據(jù)和信息的數(shù)據(jù)視圖將來(lái)小型監(jiān)測(cè)設(shè)備京津冀數(shù)據(jù)設(shè)計(jì)方案數(shù)據(jù)層模型層應(yīng)用層展示層內(nèi)部網(wǎng)站報(bào)表GIS曲線外部網(wǎng)站公布外部移動(dòng)應(yīng)用報(bào)表GIS曲線社交圖像報(bào)表GIS曲線圖像模型特征業(yè)務(wù)規(guī)則綜合觀察試驗(yàn)室數(shù)據(jù)應(yīng)用環(huán)境空氣質(zhì)量分析及業(yè)務(wù)應(yīng)用大氣污染源管理及應(yīng)用重污染過(guò)程分析與案例庫(kù)管理統(tǒng)計(jì)與數(shù)值模型預(yù)報(bào)綜合會(huì)商重污染應(yīng)急決策支持統(tǒng)計(jì)模型庫(kù)自動(dòng)室分析室遙感室污染源室教授知識(shí)庫(kù)空氣質(zhì)量預(yù)報(bào)預(yù)警空氣質(zhì)量綜合分析NAQPMSCMAQMM5/WRFSMOKE

數(shù)值模型庫(kù)CAMxAQMDSSARIAWRF-CHEMADMS基于案例的推理認(rèn)知計(jì)算特征場(chǎng)挖掘時(shí)空模式分析模型融合深度學(xué)習(xí)關(guān)聯(lián)分析場(chǎng)分析誤差模式挖掘大氣室外部數(shù)據(jù)在線源解析數(shù)據(jù)審核，管理與融合基于情景的污染過(guò)程仿真污染控制方案效果評(píng)估空氣質(zhì)量大數(shù)據(jù)分析空氣質(zhì)量指標(biāo)體系空氣質(zhì)量高級(jí)統(tǒng)計(jì)分析工具集基于GIS的數(shù)據(jù)耦合展示業(yè)務(wù)知識(shí)積累數(shù)值模型工作原理輸入數(shù)據(jù)模型庫(kù)MM5WRF源排放清單CMAQ重污染案例再分析數(shù)據(jù)空氣質(zhì)量預(yù)報(bào)（包括集合預(yù)報(bào)）NAQPMSCAMxWRF-CHEM源排放情景庫(kù)SMOKE衛(wèi)星遙感數(shù)據(jù)氣象觀測(cè)數(shù)據(jù)科研試驗(yàn)數(shù)據(jù)空氣質(zhì)量觀測(cè)數(shù)據(jù)人工觀測(cè)數(shù)據(jù)ADMSAQMDSSARIA作業(yè)管理與調(diào)度優(yōu)化全球背景場(chǎng)數(shù)據(jù)(NCEP,ECMWF,JMA,CMC,etc.)在線源解析排放控制情景模擬重污染影響參數(shù)模擬…污染同化統(tǒng)計(jì)模型工作原理數(shù)據(jù)層模型層應(yīng)用層展示層內(nèi)部網(wǎng)站報(bào)表GIS曲線外部網(wǎng)站公布外部移動(dòng)應(yīng)用報(bào)表GIS曲線社交圖像報(bào)表GIS曲線圖像模型特征（氣象場(chǎng)、污染變化趨勢(shì)等）業(yè)務(wù)規(guī)則（平穩(wěn)天氣研判、逆溫辨認(rèn)等）綜合觀察試驗(yàn)室數(shù)據(jù)應(yīng)用環(huán)境空氣質(zhì)量分析及業(yè)務(wù)應(yīng)用大氣污染源管理及應(yīng)用重污染過(guò)程分析與案例庫(kù)管理統(tǒng)計(jì)與數(shù)值模型預(yù)報(bào)綜合會(huì)商重污染應(yīng)急決策支持統(tǒng)計(jì)模型庫(kù)自動(dòng)室分析室遙感室污染源室教授知識(shí)庫(kù)空氣質(zhì)量預(yù)報(bào)預(yù)警空氣質(zhì)量綜合分析NAQPMSCMAQMM5/WRFSMOKE

數(shù)值模型庫(kù)CAMxAQMDSSARIAWRF-CHEMADMS基于案例的推理認(rèn)知計(jì)算特征場(chǎng)挖掘時(shí)空模式分析多預(yù)報(bào)模型融合深度學(xué)習(xí)多污染物關(guān)聯(lián)分析氣象場(chǎng)關(guān)聯(lián)分析預(yù)報(bào)誤差模式挖掘大氣室外部數(shù)據(jù)在線源解析數(shù)據(jù)審核，管理與融合基于情景的污染過(guò)程仿真污染控制方案效果評(píng)估空氣質(zhì)量大數(shù)據(jù)分析空氣質(zhì)量指標(biāo)體系空氣質(zhì)量高級(jí)統(tǒng)計(jì)分析工具集基于GIS的數(shù)據(jù)耦合展示業(yè)務(wù)知識(shí)積累自動(dòng)室分析室遙感室污染源室大氣室外部數(shù)據(jù)統(tǒng)計(jì)模型庫(kù)基于案例的推理認(rèn)知計(jì)算特征場(chǎng)挖掘時(shí)空模式分析多預(yù)報(bào)模型融合深度學(xué)習(xí)多污染物關(guān)聯(lián)分析氣象場(chǎng)關(guān)聯(lián)分析預(yù)報(bào)誤差模式挖掘空氣質(zhì)量大數(shù)據(jù)分析空氣質(zhì)量指標(biāo)體系空氣質(zhì)量高級(jí)統(tǒng)計(jì)分析工具集基于GIS的數(shù)據(jù)耦合展示業(yè)務(wù)知識(shí)積累重污染過(guò)程分析與案例庫(kù)管理既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)人工智能技術(shù)應(yīng)用-重污染案例分析有關(guān)分析區(qū)域傳播分析氣象條件分析時(shí)序分析分布分析跨行業(yè)分析重污染案例設(shè)計(jì)預(yù)報(bào)會(huì)商設(shè)計(jì)既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)重污染案例展示人工智能技術(shù)應(yīng)用-重污染案例分析重污染案例設(shè)計(jì)預(yù)報(bào)會(huì)商設(shè)計(jì)既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)重污染案例匹配人工智能技術(shù)應(yīng)用-重污染案例匹配重污染案例設(shè)計(jì)預(yù)報(bào)會(huì)商設(shè)計(jì)既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)

人工智能技術(shù)應(yīng)用-預(yù)報(bào)預(yù)警重污染案例設(shè)計(jì)預(yù)報(bào)會(huì)商設(shè)計(jì)既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)人工智能技術(shù)應(yīng)用-個(gè)性化業(yè)務(wù)分析模型層應(yīng)用層展示層內(nèi)部網(wǎng)站報(bào)表GIS曲線外部網(wǎng)站公布外部移動(dòng)應(yīng)用報(bào)表GIS曲線社交圖像報(bào)表GIS曲線圖像模型特征（氣象場(chǎng)、污染變化趨勢(shì)等）業(yè)務(wù)規(guī)則（平穩(wěn)天氣研判、逆溫辨認(rèn)等）綜合觀察試驗(yàn)室數(shù)據(jù)應(yīng)用環(huán)境空氣質(zhì)量分析及業(yè)務(wù)應(yīng)用大氣污染源管理及應(yīng)用重污染過(guò)程分析與案例庫(kù)管理統(tǒng)計(jì)與數(shù)值模型預(yù)報(bào)綜合會(huì)商重污染應(yīng)急決策支持統(tǒng)計(jì)模型庫(kù)自動(dòng)室分析室遙感室污染源室教授知識(shí)庫(kù)空氣質(zhì)量預(yù)報(bào)預(yù)警空氣質(zhì)量綜合分析NAQPMSCMAQMM5/WRFSMOKE

數(shù)值模型庫(kù)CAMxAQMDSSARIAWRF-CHEMADMS基于案例的推理認(rèn)知計(jì)算特征場(chǎng)挖掘時(shí)空模式分析多預(yù)報(bào)模型融合深度學(xué)習(xí)多污染物關(guān)聯(lián)分析氣象場(chǎng)關(guān)聯(lián)分析預(yù)報(bào)誤差模式挖掘大氣室外部數(shù)據(jù)在線源解析數(shù)據(jù)審核，管理與融合基于情景的污染過(guò)程仿真污染控制方案效果評(píng)估空氣質(zhì)量大數(shù)據(jù)分析空氣質(zhì)量指標(biāo)體系空氣質(zhì)量高級(jí)統(tǒng)計(jì)分析工具集基于GIS的數(shù)據(jù)耦合展示業(yè)務(wù)知識(shí)積累自動(dòng)室分析室遙感室污染源室大氣室外部數(shù)據(jù)空氣質(zhì)量大數(shù)據(jù)分析空氣質(zhì)量指標(biāo)體系空氣質(zhì)量高級(jí)統(tǒng)計(jì)分析工具集基于GIS的數(shù)據(jù)耦合展示業(yè)務(wù)知識(shí)積累既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)1.選擇有效指標(biāo)進(jìn)行PM2.5等級(jí)與氣象條件的規(guī)律挖掘2.自動(dòng)挖掘規(guī)律

3.語(yǔ)義化展示，業(yè)務(wù)人員根據(jù)專業(yè)知識(shí)總結(jié)結(jié)論人工智能技術(shù)應(yīng)用-個(gè)性化業(yè)務(wù)分析既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)模型全生命周期管理人工智能模式挖掘時(shí)空分布/演化特征多污染物關(guān)聯(lián)特征氣象場(chǎng)的關(guān)聯(lián)分析預(yù)報(bào)模型的誤差性能特征預(yù)報(bào)特征庫(kù)統(tǒng)計(jì)/數(shù)值模型（新建/更新）教授知識(shí)庫(kù)業(yè)務(wù)規(guī)則引擎業(yè)務(wù)經(jīng)驗(yàn)?zāi)Ｐ腿诤仙疃葘W(xué)習(xí)算法統(tǒng)計(jì)/數(shù)據(jù)挖掘引擎神經(jīng)元網(wǎng)絡(luò)隨機(jī)森林C5.0,CART,CHAID廣義線性回歸SVMKNN…CasebasedReasoning模型評(píng)估模型上線模型歸檔模型升級(jí)知識(shí)集成統(tǒng)一數(shù)據(jù)資源池人工智能技術(shù)應(yīng)用-技術(shù)方案設(shè)計(jì)既有業(yè)務(wù)提升個(gè)性業(yè)務(wù)分析技術(shù)方案設(shè)計(jì)內(nèi)容提要人工智能基本概念與發(fā)展歷史人工智能與大數(shù)據(jù)人工智能在氣象領(lǐng)域的應(yīng)用案例人工智能在環(huán)境保護(hù)領(lǐng)域的應(yīng)用案例人工智能在網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用案例人工智能面臨的機(jī)遇與挑戰(zhàn)總結(jié)與展望51背景什么樣的網(wǎng)頁(yè)會(huì)被稱為惡意網(wǎng)頁(yè)？便利的網(wǎng)絡(luò)服務(wù)吸引了網(wǎng)絡(luò)攻擊者們經(jīng)過(guò)釣魚網(wǎng)站[1-1]，垃圾廣告[1-2]和惡意軟件[1-3]推廣等方式進(jìn)行非法牟利。盡管這些不法活動(dòng)的目的和手段各不相同，但他們都需要不知情的顧客訪問(wèn)攻擊者提供的網(wǎng)頁(yè)地址以達(dá)成攻擊目的。這些網(wǎng)頁(yè)所以被稱為惡意網(wǎng)頁(yè)。52背景惡意網(wǎng)頁(yè)的威脅有多大？國(guó)際反釣魚組織APWG的數(shù)據(jù)顯示，2023下六個(gè)月間，使用惡意網(wǎng)頁(yè)進(jìn)行網(wǎng)絡(luò)釣魚從93,462起攀升到123,486起?？ò退够鶊?bào)告[1-4]顯示，惡意網(wǎng)頁(yè)在87.36%的網(wǎng)絡(luò)攻擊中出現(xiàn)，并已成為黑客謀求經(jīng)濟(jì)利益的主要工具。Google的研究指出，其搜索成果中1.3%的頁(yè)面為被掛馬網(wǎng)頁(yè)[1-4.1]。所以，怎樣有效地辨認(rèn)惡意網(wǎng)頁(yè)已經(jīng)成為亟待處理的網(wǎng)絡(luò)安全問(wèn)題之一。53背景惡意網(wǎng)頁(yè)辨認(rèn)的某些研究進(jìn)展觀點(diǎn)：惡意網(wǎng)頁(yè)的辨認(rèn)與檢測(cè)是一種攻防博弈問(wèn)題。攻擊者視角：自動(dòng)生成域名技術(shù)、隱匿技術(shù)。。。防御者視角：學(xué)術(shù)界：URL語(yǔ)法特征，DNS特征，網(wǎng)頁(yè)內(nèi)容特征等。工業(yè)界：SmartScreen篩選器和Safebrowsing采用的內(nèi)置黑白名單措施等。下面分別從惡意網(wǎng)頁(yè)辨認(rèn)問(wèn)題的基本概念，辨認(rèn)技術(shù)和面臨挑戰(zhàn)三個(gè)方面簡(jiǎn)介。54目前，惡意網(wǎng)頁(yè)尚無(wú)一種明確的、統(tǒng)一的定義。Google[2-1]將惡意網(wǎng)頁(yè)限定為一種不安全的網(wǎng)站，發(fā)生的場(chǎng)景能夠是惡意軟件自動(dòng)下載[2-2]，網(wǎng)頁(yè)彈窗[2-3]誘騙顧客輸入自己的顧客名和密碼等。BirhanuE.等人[2-3.1]將惡意網(wǎng)頁(yè)定義為一類經(jīng)過(guò)利用漏洞對(duì)一次性的訪問(wèn)行為發(fā)起攻擊的網(wǎng)頁(yè)。百度百科上[2-4]對(duì)惡意網(wǎng)站定義為故旨在計(jì)算機(jī)系統(tǒng)上執(zhí)行惡意任務(wù)的病毒、蠕蟲和特洛伊木馬的非法網(wǎng)站，并指出他們的共同特征是采用網(wǎng)頁(yè)形式讓人們正常瀏覽頁(yè)面內(nèi)容，同步非法獲取電腦里的多種數(shù)據(jù)。一般來(lái)說(shuō)，惡意網(wǎng)頁(yè)是以網(wǎng)頁(yè)木馬，釣魚網(wǎng)站為代表的一類網(wǎng)頁(yè)。不同于正常網(wǎng)頁(yè)，惡意網(wǎng)頁(yè)往往經(jīng)過(guò)偽裝成正當(dāng)網(wǎng)站或在網(wǎng)頁(yè)中嵌入惡意腳本，從而在顧客訪問(wèn)時(shí)對(duì)其網(wǎng)絡(luò)安全構(gòu)成威脅。惡意網(wǎng)頁(yè)基本概念與評(píng)價(jià)指標(biāo)所以，將惡意網(wǎng)頁(yè)定義為以網(wǎng)頁(yè)形式出現(xiàn)，以訪問(wèn)時(shí)竊取顧客隱私，安裝惡意程序或運(yùn)營(yíng)惡意代碼等惡意行為為目的的網(wǎng)頁(yè)集合。55惡意網(wǎng)頁(yè)辨認(rèn)概述惡意網(wǎng)頁(yè)辨認(rèn)概述惡意網(wǎng)頁(yè)辨認(rèn)系統(tǒng)基本框架涉及網(wǎng)頁(yè)采集，特征抽取，網(wǎng)頁(yè)鑒別三個(gè)環(huán)節(jié)。惡意網(wǎng)頁(yè)辨認(rèn)的應(yīng)用場(chǎng)景攻擊場(chǎng)景檢測(cè)位置主要辨認(rèn)特征56惡意網(wǎng)頁(yè)辨認(rèn)框架惡意網(wǎng)頁(yè)辨認(rèn)系統(tǒng)基本框架圖1.惡意網(wǎng)頁(yè)辨認(rèn)的基本框架(1)網(wǎng)頁(yè)采集。負(fù)責(zé)對(duì)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)進(jìn)行搜集、去重和過(guò)濾。其中，按照網(wǎng)頁(yè)搜集方式，一般可分為主動(dòng)和被動(dòng)兩種。(2)特征抽取。根據(jù)網(wǎng)頁(yè)本身特點(diǎn)和辨認(rèn)措施的不同，對(duì)網(wǎng)頁(yè)信息的特征進(jìn)行抽取，作為辨認(rèn)惡意網(wǎng)頁(yè)的根據(jù)。這些特征涉及但不限于URL詞匯特征，主機(jī)信息特征，網(wǎng)頁(yè)內(nèi)容特征，URL（DNS）黑名單，鏈接關(guān)系以及跳轉(zhuǎn)關(guān)系等。(3)網(wǎng)頁(yè)鑒別。主要鑒別措施涉及：黑名單過(guò)濾法，規(guī)則匹配法，機(jī)器學(xué)習(xí)措施以及基于交互式主機(jī)行為的辨認(rèn)措施。57惡意網(wǎng)頁(yè)辨認(rèn)概述惡意網(wǎng)頁(yè)辨認(rèn)概述惡意網(wǎng)頁(yè)辨認(rèn)的應(yīng)用場(chǎng)景攻擊場(chǎng)景：釣魚網(wǎng)頁(yè)，惡意軟件下載，跨站腳本執(zhí)行（XSS），SQL注入，網(wǎng)頁(yè)木馬檢測(cè)位置服務(wù)器端,客戶端，網(wǎng)關(guān)端主要辨認(rèn)特征另外，某些研究從HTTP會(huì)話[3-23],搜索引擎提供的相同網(wǎng)頁(yè)[3-24]出發(fā)，對(duì)惡意網(wǎng)頁(yè)的辨認(rèn)提供了新的思緒。圖2.辨認(rèn)惡意網(wǎng)頁(yè)的特征分類58惡意網(wǎng)頁(yè)辨認(rèn)研究進(jìn)展惡意網(wǎng)頁(yè)辨認(rèn)的措施基于黑名單技術(shù)的辨認(rèn)措施基于啟發(fā)式規(guī)則的辨認(rèn)措施基于機(jī)器學(xué)習(xí)的辨認(rèn)措施基于交互式主機(jī)行為的辨認(rèn)措施。59惡意網(wǎng)頁(yè)辨認(rèn)研究進(jìn)展惡意網(wǎng)頁(yè)辨認(rèn)的措施基于黑名單技術(shù)的辨認(rèn)措施經(jīng)典應(yīng)用：GoogleSafebrowsing,DNSBL,PhishTank等。存在問(wèn)題：不能及時(shí)更新，輕易漏判基于啟發(fā)式規(guī)則的辨認(rèn)措施基于機(jī)器學(xué)習(xí)的辨認(rèn)措施基于交互式主機(jī)行為的辨認(rèn)措施圖1 黑名單示例www.phish.tw…60惡意網(wǎng)頁(yè)辨認(rèn)研究進(jìn)展惡意網(wǎng)頁(yè)辨認(rèn)的措施基于黑名單技術(shù)的辨認(rèn)措施基于啟發(fā)式規(guī)則的辨認(rèn)措施經(jīng)典應(yīng)用：火狐Firefox,IE存在問(wèn)題：誤報(bào)率高，規(guī)則更新難?；跈C(jī)器學(xué)習(xí)的辨認(rèn)措施基于交互式主機(jī)行為的辨認(rèn)措施圖2 啟發(fā)式規(guī)則示例/[a-z]*[.]phish[.][a-z]*//[a-z]*[.]malicious[.][a-z]*//[a-z]*[.]y0utube[.][a-z]*/…圖1 黑名單示例www.phish.tw…61惡意網(wǎng)頁(yè)辨認(rèn)研究進(jìn)展惡意網(wǎng)頁(yè)辨認(rèn)的措施基于黑名單技術(shù)的辨認(rèn)措施基于啟發(fā)式規(guī)則的辨認(rèn)措施基于機(jī)器學(xué)習(xí)的辨認(rèn)措施常用分類算法：PA，CW，SVM存在問(wèn)題：標(biāo)注數(shù)據(jù)集較少，過(guò)擬合?；诮换ナ街鳈C(jī)行為的辨認(rèn)措施圖3.分類算法的工作過(guò)程圖2 啟發(fā)式規(guī)則示例/[a-z]*[.]phish[.][a-z]*//[a-z]*[.]malicious[.][a-z]*//[a-z]*[.]y0utube[.][a-z]*/…圖3 特征示例Label Features0 1000101 0100101 01100162惡意網(wǎng)頁(yè)辨認(rèn)研究進(jìn)展惡意網(wǎng)頁(yè)辨認(rèn)的措施基于黑名單技術(shù)的辨認(rèn)措施基于啟發(fā)式規(guī)則的辨認(rèn)措施基于機(jī)器學(xué)習(xí)的辨認(rèn)措施基于交互式主機(jī)行為的辨認(rèn)措施一般與蜜灌技術(shù)，虛擬化技術(shù)相結(jié)合使用。按照檢測(cè)行為的不同，蜜罐技術(shù)能夠細(xì)分為基于模擬的低交互式蜜罐和基于真實(shí)系統(tǒng)的高交互式蜜罐。63惡意網(wǎng)頁(yè)辨認(rèn)研究進(jìn)展不同類別惡意網(wǎng)頁(yè)辨認(rèn)措施的比較識(shí)別方法基于黑名單技術(shù)基于啟發(fā)式規(guī)則基于機(jī)器學(xué)習(xí)基于主機(jī)行為誤判率低高低低漏判率高低低低分類速度快一般一般慢優(yōu)點(diǎn)技術(shù)簡(jiǎn)單，易操作，計(jì)算開銷小，分類速度快，可實(shí)時(shí)響應(yīng)。識(shí)別漏判率低，可以識(shí)別一些尚未收錄的惡意網(wǎng)頁(yè)準(zhǔn)確率較高，可擴(kuò)展性強(qiáng)，能夠?qū)ι形词珍浀膼阂饩W(wǎng)頁(yè)進(jìn)行識(shí)別識(shí)別準(zhǔn)確率很高，可以對(duì)特定類別的惡意網(wǎng)頁(yè)（主要是網(wǎng)頁(yè)木馬等）進(jìn)行準(zhǔn)確分析缺點(diǎn)不能識(shí)別未收錄黑名單的惡意網(wǎng)頁(yè)，黑名單更新周期長(zhǎng)規(guī)則生成和更新難，依賴于領(lǐng)域知識(shí)，且容易誤判需要事先了解網(wǎng)頁(yè)樣本集，容易出現(xiàn)“過(guò)擬合”現(xiàn)象。無(wú)法識(shí)別其他類別的