金融大數(shù)據(jù)案例(PPT30張)

金融大數(shù)據(jù)案例金融大數(shù)據(jù)背景介紹1金融大數(shù)據(jù)案例簡(jiǎn)介2案例流程3案例結(jié)果展示與總結(jié)4數(shù)據(jù)顯示，中國(guó)大數(shù)據(jù)IT應(yīng)用投資規(guī)模以五大行業(yè)最高，其中以互聯(lián)網(wǎng)行業(yè)占比最高，占大數(shù)據(jù)IT應(yīng)用投資規(guī)模的28.9%，其次是電信領(lǐng)域（19.9%），第三為金融領(lǐng)域（17.5%），交通第四，政府和醫(yī)療分別為第五和第六。1金融大數(shù)據(jù)背景1.1金融大數(shù)據(jù)應(yīng)用投資介紹從投資結(jié)構(gòu)上來(lái)看，銀行將會(huì)成為金融類企業(yè)中的重要部分，證券和保險(xiǎn)分列第二和第三位。國(guó)內(nèi)不少銀行已經(jīng)開(kāi)始嘗試通過(guò)大數(shù)據(jù)來(lái)驅(qū)動(dòng)業(yè)務(wù)運(yùn)營(yíng)，如中信銀行信用卡中心使用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)了實(shí)時(shí)營(yíng)銷，光大銀行建立了社交網(wǎng)絡(luò)信息數(shù)據(jù)庫(kù)，招商銀行則利用大數(shù)據(jù)發(fā)展小微貸款?？偟膩?lái)看銀行大數(shù)據(jù)應(yīng)用可以分為四大方面：Part1銀行大數(shù)據(jù)應(yīng)用1.1金融大數(shù)據(jù)應(yīng)用投資介紹Part2保險(xiǎn)行業(yè)大數(shù)據(jù)應(yīng)用1.1金融大數(shù)據(jù)應(yīng)用投資介紹隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)以及大數(shù)據(jù)的發(fā)展，網(wǎng)絡(luò)營(yíng)銷、移動(dòng)營(yíng)銷和個(gè)性化的電話銷售的作用將會(huì)日趨顯現(xiàn)，越來(lái)越多的保險(xiǎn)公司注意到大數(shù)據(jù)在保險(xiǎn)行業(yè)中的作用?？偟膩?lái)說(shuō)，保險(xiǎn)行業(yè)的大數(shù)據(jù)應(yīng)用可以分為三大方面：Part3證券行業(yè)大數(shù)據(jù)應(yīng)用第一方面：股價(jià)預(yù)測(cè)第二方面：客戶關(guān)系管理第三方面：投資景氣指數(shù)1.1金融大數(shù)據(jù)應(yīng)用投資介紹1.2國(guó)泰安金融大數(shù)據(jù)1.2國(guó)泰安金融大數(shù)據(jù)國(guó)泰安金融大數(shù)據(jù)實(shí)驗(yàn)室軟件架構(gòu)圖包含了數(shù)據(jù)源、大數(shù)據(jù)采集與ETL、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析與挖掘、大數(shù)據(jù)展示與可視化這五大模塊。解決方案包括了國(guó)泰安金融行業(yè)數(shù)據(jù)，及金融行業(yè)相關(guān)的一些分析工具等。2國(guó)泰安金融大數(shù)據(jù)案例【案例主題】私募排排網(wǎng)金融數(shù)據(jù)可視化分析【案例目的】用數(shù)據(jù)采集工具從網(wǎng)絡(luò)上抓取大量的金融數(shù)據(jù)，將抓取的大量數(shù)據(jù)保存到本地，然后采用數(shù)據(jù)可視化分析工具，將采集到的數(shù)據(jù)用圖表的形式展現(xiàn)出來(lái)?！景咐Y(jié)果】利用大數(shù)據(jù)分析的手段將私募網(wǎng)上大量的金融數(shù)據(jù)用很快速的方式獲取，并且將這些大量的復(fù)雜的數(shù)據(jù)，快速的通過(guò)圖表方式展示出來(lái)，通過(guò)大數(shù)據(jù)分析手段可以輕松的看出各個(gè)不同策略的平均年收益情況比較，以及各個(gè)產(chǎn)品年收益情況表現(xiàn)等。30.只有極其努力，才能看起來(lái)毫不費(fèi)力。7.真正的才智是剛毅的志向。7、做你所應(yīng)做的事情，能有什么結(jié)果則在其次?！詹氐谌?，在學(xué)習(xí)了曹沖稱象的方法后，我擴(kuò)展了如果是你，怎樣稱象的問(wèn)題。沒(méi)想到學(xué)生們提出了用人代替大象走上船、制作大的蹺蹺板、用地秤來(lái)稱等方案，發(fā)散了學(xué)生思維，不把曹沖當(dāng)做神仙而不敢去突破，樹(shù)立了學(xué)生的信心。在這個(gè)暑假里，我參加了關(guān)于農(nóng)村教育問(wèn)題的社會(huì)實(shí)踐，在短短一個(gè)多月中，我盡我所能，把我所知道的知識(shí)全都交給他們，孩子們也都非常認(rèn)真的學(xué)習(xí)著。在和孩子們的交流中我了解到，他們大多夢(mèng)想著成為大學(xué)生，成為科學(xué)家等，對(duì)外面位置的世界充滿了好奇和憧憬。但當(dāng)我問(wèn)到以后回不回家鄉(xiāng)的時(shí)候哦，大家都沉默了。也許是孩子們太小，不能理解這件事的含義，也許是另一種思想一直影響著他們“離開(kāi)農(nóng)村，去城市才不用過(guò)苦日子。55、我寧可做人類中有夢(mèng)想和有完成夢(mèng)想的愿望的、最渺小的人，而不愿做一個(gè)最偉大的、無(wú)夢(mèng)想、無(wú)愿望的人?！o(jì)伯倫21.夫?qū)W須志也，才須學(xué)也，非學(xué)無(wú)以廣才，非志無(wú)以成學(xué)。隨著互聯(lián)網(wǎng)技術(shù)的增長(zhǎng)和網(wǎng)絡(luò)海量信息的增長(zhǎng)，對(duì)信息進(jìn)行針對(duì)性、行業(yè)性、精準(zhǔn)性的獲取成為一種越來(lái)越大的需求，這種獲取數(shù)據(jù)的方式就是網(wǎng)絡(luò)數(shù)據(jù)采集。網(wǎng)絡(luò)數(shù)據(jù)采集的基本思想是：利用數(shù)據(jù)抓取軟件對(duì)網(wǎng)頁(yè)上的數(shù)據(jù)實(shí)現(xiàn)有針對(duì)性、行業(yè)性、精準(zhǔn)性的抓取。2.1金融數(shù)據(jù)采集八爪魚(yú)數(shù)據(jù)采集系統(tǒng)以完全自主研發(fā)的分布式云計(jì)算平臺(tái)為核心，可以在很短的時(shí)間內(nèi)，輕松從各種不同的網(wǎng)站或者網(wǎng)頁(yè)獲取大量的規(guī)范化數(shù)據(jù)，幫助任何需要從網(wǎng)頁(yè)獲取信息的客戶實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化采集，編輯，規(guī)范化，擺脫對(duì)人工搜索及收集數(shù)據(jù)的依賴，從而降低獲取信息的成本，提高效率。2.1國(guó)泰安八爪魚(yú)采集器2.1國(guó)泰安八爪魚(yú)采集器1）范圍廣：全網(wǎng)通用，數(shù)據(jù)由用戶自定義網(wǎng)頁(yè)八爪魚(yú)采集系統(tǒng)完整的數(shù)據(jù)2.1國(guó)泰安八爪魚(yú)采集器2）性能高：云采集架構(gòu)，可支持每天千萬(wàn)以上網(wǎng)頁(yè)采集云采集集群(自動(dòng)負(fù)載均衡，可動(dòng)態(tài)伸縮，熱插拔)中央控制終端用戶2.1國(guó)泰安八爪魚(yú)采集器3）功能強(qiáng)：能輕松應(yīng)對(duì)IP封鎖，驗(yàn)證碼等各種防采集措施打開(kāi)頁(yè)面，點(diǎn)擊網(wǎng)頁(yè)元素輸入用戶名，搜索詞等循環(huán)翻頁(yè)，循環(huán)翻下拉列表，循環(huán)網(wǎng)址列表?xiàng)l件判斷，分支處理，不同情況不同流程識(shí)別驗(yàn)證碼精準(zhǔn)提取網(wǎng)頁(yè)任何信息對(duì)采集的數(shù)據(jù)做進(jìn)一步處理可視化采集測(cè)試，動(dòng)態(tài)流程修改，異常情況報(bào)警，……內(nèi)置自主知識(shí)產(chǎn)權(quán)的瀏覽器及網(wǎng)頁(yè)定位解析引擎內(nèi)置智能流程引擎，自動(dòng)生成采集流程可以模擬人的所有操作過(guò)程2.1國(guó)泰安八爪魚(yú)采集器4）使用簡(jiǎn)單：完全可視化流程操作，無(wú)需專業(yè)知識(shí)模擬人的思維操作方式模塊化步驟，自由組合鼠標(biāo)點(diǎn)擊拖拽幾分鐘即可完成采集配置5）易擴(kuò)展：可與各種系統(tǒng)自動(dòng)整合對(duì)接通用數(shù)據(jù)結(jié)構(gòu)及接口，支持任何異構(gòu)平臺(tái)調(diào)用2.1國(guó)泰安八爪魚(yú)采集器2.2私募排排網(wǎng)數(shù)據(jù)抓取過(guò)程（二）配置采集流程（分四步完成）2.2私募排排網(wǎng)數(shù)據(jù)抓取過(guò)程（三）開(kāi)始單擊采集或者開(kāi)啟云采集：?jiǎn)螜C(jī)采集過(guò)程：2.2私募排排網(wǎng)數(shù)據(jù)抓取過(guò)程云采集過(guò)程：（三）導(dǎo)出數(shù)據(jù)2.2私募排排網(wǎng)數(shù)據(jù)抓取過(guò)程只有極其努力，才能看起來(lái)毫不費(fèi)力。八爪魚(yú)數(shù)據(jù)采集系統(tǒng)以完全自主研發(fā)的分布式云計(jì)算平臺(tái)為核心，可以在很短的時(shí)間內(nèi)，輕松從各種不同的網(wǎng)站或者網(wǎng)頁(yè)獲取大量的規(guī)范化數(shù)據(jù)，幫助任何需要從網(wǎng)頁(yè)獲取信息的客戶實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化采集，編輯，規(guī)范化，擺脫對(duì)人工搜索及收集數(shù)據(jù)的依賴，從而降低獲取信息的成本，提高效率。循環(huán)翻頁(yè)，循環(huán)翻下拉列表，循環(huán)網(wǎng)址列表對(duì)采集的數(shù)據(jù)做進(jìn)一步處理可以用來(lái)實(shí)現(xiàn)交互地、可視化的分析和儀表盤(pán)分析應(yīng)用。（3）然后將產(chǎn)品名稱拖動(dòng)至左邊的顏色區(qū)，將累計(jì)收益拖動(dòng)到標(biāo)簽上；數(shù)據(jù)可視化軟件-tableau（1）以累計(jì)收益大于10的產(chǎn)品為例，設(shè)置可視化展示參數(shù)：將【產(chǎn)品名稱】拖至【行】，將【累計(jì)收益】拖至【列】，從右邊的“智能顯示”中選擇條形圖；總的來(lái)說(shuō)，保險(xiǎn)行業(yè)的大數(shù)據(jù)應(yīng)用可以分為三大方面：循環(huán)翻頁(yè)，循環(huán)翻下拉列表，循環(huán)網(wǎng)址列表第二方面：客戶關(guān)系管理總結(jié)：本案例主要針對(duì)私募排排網(wǎng)的金融財(cái)報(bào)數(shù)據(jù)做可視化分析，首先采用大數(shù)據(jù)采集工具--八爪魚(yú)采集器，通過(guò)簡(jiǎn)單的流程配置并且配合云采集功能，從私募排排網(wǎng)上抓取各金融產(chǎn)品的年報(bào)數(shù)據(jù)；3數(shù)據(jù)可視化分析大數(shù)據(jù)時(shí)代下，越來(lái)越多的數(shù)據(jù)被生產(chǎn)出來(lái)，人類采集數(shù)據(jù)的能力、運(yùn)算的能力以及各種方法的出現(xiàn)，幫助我們處理這些龐大的數(shù)據(jù)集，同樣的，為了更好地展示以及查看這些價(jià)值信息，數(shù)據(jù)可視化技術(shù)也在不斷的發(fā)展，要求也不斷提高。數(shù)據(jù)可視化的基本思想是：將大型集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息的處理過(guò)程?；灸康氖牵夯睘楹?jiǎn)，使數(shù)據(jù)變得更有意義，更容易理解。3.1數(shù)據(jù)可視化軟件-tableauTableau是一款定位在數(shù)據(jù)可視化的商務(wù)智能展現(xiàn)工具?？梢杂脕?lái)實(shí)現(xiàn)交互地、可視化的分析和儀表盤(pán)分析應(yīng)用。3.1數(shù)據(jù)可視化軟件-tableau簡(jiǎn)單易用極速高效美觀交互的視圖與界面輕松實(shí)現(xiàn)數(shù)據(jù)融合靈活的配置簡(jiǎn)便的管理3.2私募排排網(wǎng)數(shù)據(jù)可視化過(guò)程步驟一：金融數(shù)據(jù)導(dǎo)入將上一節(jié)中抓取的私募排排網(wǎng)金融數(shù)據(jù)結(jié)果導(dǎo)入tableau：【數(shù)據(jù)】-【新建數(shù)據(jù)源】-選擇【Excel】3.2私募排排網(wǎng)數(shù)據(jù)可視化過(guò)程步驟二：進(jìn)入工作表（1）以累計(jì)收益大于10的產(chǎn)品為例，設(shè)置可視化展示參數(shù)：將【產(chǎn)品名稱】拖至【行】，將【累計(jì)收益】拖至【列】，從右邊的“智能顯示”中選擇條形圖；（2）將產(chǎn)品名稱做篩選，在篩選器中選擇篩選條件為：累計(jì)收益大于10；（3）然后將產(chǎn)品名稱拖動(dòng)至左邊的顏色區(qū)，將累計(jì)收益拖動(dòng)到標(biāo)簽上；（4）繼續(xù)制作其他工作表。3.2私募排排網(wǎng)數(shù)據(jù)可視化過(guò)程步驟三：制作儀表盤(pán)新建儀表盤(pán)，將制作好的工作表拖動(dòng)到儀表盤(pán)中，并且調(diào)整各工作表的位置。4可視化結(jié)果意義分析結(jié)果分析：該儀表盤(pán)包含四個(gè)圖表，第一個(gè)表示八個(gè)不同策略在2015年的平均年收益情況；第二個(gè)圖表表示年收益大于200%的所有產(chǎn)品；第三個(gè)圖表表示2015年年收益排名前十的投資顧問(wèn)；第四個(gè)圖表表示所有投資顧問(wèn)在2015年的年收益情況。4可視化結(jié)果意義分析總結(jié)：本案例主要針對(duì)私募排排網(wǎng)的金融財(cái)報(bào)數(shù)據(jù)做可視化分析，首先采用大數(shù)據(jù)采集工具--八爪魚(yú)采集器，通過(guò)簡(jiǎn)單的流程配置并且配合云采集功能，從私募排排網(wǎng)上抓取各金融產(chǎn)品的年報(bào)數(shù)據(jù)；然后將采集到的金融產(chǎn)品數(shù)據(jù)導(dǎo)入tableau可視化軟件，做可視化分析，最終形成數(shù)據(jù)可視化圖表。數(shù)據(jù)可視化的基本思想是：將大型集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息的處理過(guò)程。內(nèi)置自主知識(shí)產(chǎn)權(quán)的瀏覽器及網(wǎng)頁(yè)定位解析引擎（2）將產(chǎn)品名稱做篩選，在篩選器中選擇篩選條件為：累計(jì)收益大于10；條件判斷，分支處理，不同情況不同流程3）功能強(qiáng)：能輕松應(yīng)對(duì)IP封鎖，驗(yàn)證碼等各種防采集措施循環(huán)翻頁(yè)，循環(huán)翻下拉列表，循環(huán)網(wǎng)址列表1）范圍廣：全網(wǎng)通用，數(shù)據(jù)由用戶自定義國(guó)泰安金融大數(shù)據(jù)實(shí)驗(yàn)室軟件架構(gòu)圖包含了數(shù)據(jù)源、大數(shù)據(jù)采集與ETL、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析與挖掘、大數(shù)據(jù)展示與可視化這五大模塊。新建儀表盤(pán)，將制作好的工作表拖動(dòng)到儀表盤(pán)中，并且調(diào)整各工作表的位置。私募排排網(wǎng)數(shù)據(jù)抓取過(guò)程新建儀表盤(pán)，將制作好的工作表拖動(dòng)到儀表盤(pán)中，并且調(diào)整各工作表的位置。數(shù)據(jù)顯示，中國(guó)大數(shù)據(jù)IT應(yīng)用投資規(guī)模以五大行業(yè)最高，其中以互聯(lián)網(wǎng)行業(yè)占比最高，占大數(shù)據(jù)IT應(yīng)用投資規(guī)模的28.總的來(lái)說(shuō)，保險(xiǎn)行業(yè)的大數(shù)據(jù)應(yīng)用可以分為三大方面：7、做你所應(yīng)做的事情，能有什么結(jié)果則在其次。3）功能強(qiáng)：能輕松應(yīng)對(duì)IP封鎖，驗(yàn)證碼等各種防采集措施可以用來(lái)實(shí)現(xiàn)交互地、可視化的分析和儀表盤(pán)分析應(yīng)用?？梢阅M人的所有操作過(guò)程八爪魚(yú)數(shù)據(jù)采集系統(tǒng)以完全自主研發(fā)的分布式云計(jì)算平臺(tái)為核心，可以在很短的時(shí)間內(nèi)，輕松從各種不同的網(wǎng)站或者網(wǎng)頁(yè)獲取大量的規(guī)范化數(shù)據(jù)，幫助任何需要從網(wǎng)頁(yè)獲取信息的客戶實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化采集，編輯，規(guī)范化，擺脫對(duì)人工搜索及收集數(shù)據(jù)的依賴，從而降低獲取信息的成本，提高效率。（1）以累計(jì)收益大于10的產(chǎn)品為例，設(shè)置可視化展示參數(shù)：將【產(chǎn)品名稱】拖至【行】，將【累計(jì)收益】拖至【列】，從右邊的“智能顯示”中選擇條形圖；金融大數(shù)據(jù)應(yīng)用投資介紹9%），第三為金融領(lǐng)域（17.【案例目的】用數(shù)據(jù)采集工具從網(wǎng)絡(luò)上抓取大量的金融數(shù)據(jù)，將抓取的大量數(shù)據(jù)保存到本地，然后采用數(shù)據(jù)可視化分析工具，將采集到的數(shù)據(jù)用圖表的形