金融業(yè)與大數(shù)據(jù)價(jià)值創(chuàng)造知識(shí)準(zhǔn)備和未來新發(fā)展

1、金融業(yè)與大數(shù)據(jù)價(jià)值創(chuàng)造知識(shí)準(zhǔn)備和未來新發(fā)展金融業(yè)與大數(shù)據(jù)價(jià)值創(chuàng)造知識(shí)準(zhǔn)備和未來新發(fā)展金融業(yè)與大數(shù)據(jù)價(jià)值創(chuàng)造知識(shí)準(zhǔn)備和未來新發(fā)展大數(shù)據(jù)在金融業(yè)的重要應(yīng)用實(shí)時(shí)量化投資分析實(shí)時(shí)文本挖掘經(jīng)濟(jì)金融危機(jī)實(shí)時(shí)預(yù)警經(jīng)濟(jì)實(shí)時(shí)動(dòng)態(tài)指標(biāo)構(gòu)建銀行信用評(píng)分卡2021/4/132未來機(jī)會(huì)1.大量行業(yè)需求:金融業(yè),IT,醫(yī)療,地理信息系統(tǒng)等2.阿里巴巴等公司云計(jì)算相關(guān)業(yè)務(wù)的高速增長(zhǎng)3.廣東省大數(shù)據(jù)產(chǎn)業(yè)及人才需求缺口2021/4/133大數(shù)據(jù)及金融業(yè):價(jià)值創(chuàng)造1.大數(shù)據(jù)技術(shù)為金融業(yè)提供適時(shí)交易數(shù)據(jù)的分析,從而發(fā)現(xiàn)數(shù)據(jù)中的重要含義2.大數(shù)據(jù)技術(shù)發(fā)現(xiàn)影響某特定行為的重要因素,例如我們可以用大數(shù)據(jù)來評(píng)估某股票的價(jià)格行為的主要驅(qū)動(dòng)力

2、.3.大數(shù)據(jù)技術(shù)幫助尋找相似股票和替代關(guān)系股票.例如相似股票統(tǒng)計(jì)套利的一個(gè)關(guān)鍵驅(qū)動(dòng)力。股票潛在的替代品是投資組合經(jīng)理和交易員在低流動(dòng)性的條件下，可以找到一個(gè)替代實(shí)施一個(gè)快速交易的關(guān)鍵。4.文本挖掘技術(shù)提高金融服務(wù)質(zhì)量,更高效率地發(fā)現(xiàn)金融欺詐.2021/4/134金融業(yè)大數(shù)據(jù)特點(diǎn)金融業(yè)大數(shù)據(jù)“量”（volume)金融業(yè)大數(shù)據(jù)“速度”(velocity)金融業(yè)大數(shù)據(jù)“格式多樣”(variety)金融業(yè)大數(shù)據(jù)“準(zhǔn)確性”（veracity)金融業(yè)大數(shù)據(jù)“商業(yè)價(jià)值”(value)2021/4/135金融業(yè)大數(shù)據(jù)典型應(yīng)用.目標(biāo)客戶定位大數(shù)據(jù)有助于更好好理解消費(fèi)者和他們行為偏好等。例如通過銀行客戶查詢大數(shù)據(jù)

3、資料獲知客戶未來行為，構(gòu)建相關(guān)應(yīng)用模型,適時(shí)推送相關(guān)業(yè)務(wù)業(yè)務(wù)，提高廣告的響應(yīng)效率，節(jié)約廣告成本。2021/4/136金融業(yè)大數(shù)據(jù)典型應(yīng)用.理解優(yōu)化商業(yè)過程通過社交媒體，網(wǎng)絡(luò)搜索趨勢(shì)等運(yùn)用文本挖掘方法發(fā)現(xiàn)金融服務(wù)業(yè)的重要關(guān)鍵問題，適時(shí)改善優(yōu)化服務(wù)流程。2021/4/137金融業(yè)大數(shù)據(jù)典型應(yīng)用. 優(yōu)化智能選股，智能交易，找到我們最合適的匹配策略。交易員容易犯錯(cuò)誤，而且容易忘記。但大數(shù)據(jù)技術(shù)可以大量收集相關(guān)知識(shí)，機(jī)器學(xué)習(xí)的應(yīng)用，可以讓交易策略更聰明。2021/4/138金融業(yè)大數(shù)據(jù)典型應(yīng)用.構(gòu)建實(shí)時(shí)檢測(cè)的違約模型,進(jìn)行貸款定價(jià)。信用卡公司利用大數(shù)據(jù)檢測(cè)欺詐交易.2021/4/139金融業(yè)大數(shù)據(jù)典型應(yīng)

4、用. 構(gòu)建實(shí)時(shí)動(dòng)態(tài)經(jīng)濟(jì)指標(biāo)系統(tǒng)。通過社交媒體各種非結(jié)構(gòu)化數(shù)據(jù)分析，網(wǎng)絡(luò)搜索趨勢(shì)構(gòu)建實(shí)時(shí)動(dòng)態(tài)的監(jiān)測(cè)系統(tǒng)。2021/4/1310金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON2.基礎(chǔ)課程：機(jī)器學(xué)習(xí)，算法研究3.重要大數(shù)據(jù)平臺(tái)：HADOOP和SPARK2021/4/1311金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON 數(shù)據(jù)整合:SAS可以直接連接以下數(shù)據(jù)庫：SQL ORACLE,ACCESS等重要數(shù)據(jù)庫，尤其是連接HADOOP，因?yàn)镠ADOOP現(xiàn)在是流行的大數(shù)據(jù)存儲(chǔ)平臺(tái)。而PYTHON則可以連接SPARK,SPARK是及HADOOP類似的大數(shù)據(jù)存儲(chǔ)平臺(tái)。2021/4/131

5、2金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON 數(shù)據(jù)整合:網(wǎng)絡(luò)爬蟲是Python的傳統(tǒng)強(qiáng)勢(shì)領(lǐng)域，最流行的爬蟲框架Scrapy、HTTP工具包urlib2、HTML解析工具Beautiful Soup、XML解析器等，都是能夠獨(dú)當(dāng)一面的類庫。這是網(wǎng)絡(luò)大數(shù)據(jù)來源的重要方法.2021/4/1313金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON 模型建立:SAS EM模塊,PYTHON尤其擅長(zhǎng)機(jī)器學(xué)習(xí)等的使用. PYTHON是機(jī)器學(xué)習(xí)的重要工具，許多機(jī)器學(xué)習(xí)書籍也是以PYTHON為程序語言。其中Scikit-learn 和 Milk 實(shí)現(xiàn)很多機(jī)器學(xué)習(xí)算法，基于這兩個(gè)庫實(shí)現(xiàn)的

6、Pylearn2，是深度學(xué)習(xí)領(lǐng)域的重要成員。scikit-learn 是一個(gè)基于SciPy和Numpy的開源機(jī)器學(xué)習(xí)模塊，包括分類、回歸、聚類系列算法，主要算法有SVM、邏輯回歸、樸素貝葉斯、Kmeans、DBSCAN等.2021/4/1314金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON 模型建立:PYTHON尤其擅長(zhǎng)機(jī)器學(xué)習(xí)等的使用. NLTK(Natural Language Toolkit)是Python的自然語言處理模塊，包括一系列的字符處理和語言統(tǒng)計(jì)模型。NLTK 常用于學(xué)術(shù)研究和教學(xué)，應(yīng)用的領(lǐng)域有語言學(xué)、認(rèn)知科學(xué)、人工智能、信息檢索、機(jī)器學(xué)習(xí)等。2021/4/1315

7、金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON 模型建立:Shogun是一個(gè)開源的大規(guī)模機(jī)器學(xué)習(xí)工具箱。目前Shogun的機(jī)器學(xué)習(xí)功能分為幾個(gè)部分：feature表示，feature預(yù)處理， 核函數(shù)表示,核函數(shù)標(biāo)準(zhǔn)化，距離表示，分類器表示，聚類方法，分布， 性能評(píng)價(jià)方法，回歸方法，結(jié)構(gòu)化輸出學(xué)習(xí)器。PyBrain(Python-Based Reinforcement Learning, Artificial Intelligence and Neural Network)是Python的一個(gè)機(jī)器學(xué)習(xí)模塊，它的目標(biāo)是為機(jī)器學(xué)習(xí)任務(wù)提供靈活、易應(yīng)、強(qiáng)大的機(jī)器學(xué)習(xí)算法。PyBrain正如

8、其名，包括神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)(及二者結(jié)合)、無監(jiān)督學(xué)習(xí)、進(jìn)化算法。2021/4/1316金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON 模型建立:SAS EM模塊,PYTHON尤其擅長(zhǎng)機(jī)器學(xué)習(xí)等的使用.2021/4/1317金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)1.重要軟件：SAS,PYTHON模型建立:決策樹(Decision Tree)回歸(Regression)人工神經(jīng)網(wǎng)絡(luò)(Neural Network)支持向量機(jī)(SVM)模型比較(Model Comparison)2021/4/1318金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)2.基礎(chǔ)課程：機(jī)器學(xué)習(xí)是所有大數(shù)據(jù)研究的最基礎(chǔ)的內(nèi)容.機(jī)器學(xué)習(xí)致力于研究如何通

9、過大量計(jì)算訓(xùn)練，利用已經(jīng)有的知識(shí)改善模型的性能，確定最準(zhǔn)確的“模型”，然后應(yīng)用于新數(shù)據(jù)給出模型判斷。2021/4/1319金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)2.基礎(chǔ)課程：算法研究則是通過計(jì)算方法的改進(jìn),實(shí)現(xiàn)大數(shù)據(jù)計(jì)算效率的提高.算法的微小改進(jìn),因?yàn)榇髷?shù)據(jù)容量的累積影響,會(huì)給計(jì)算帶來驚人的效率改進(jìn).搜索結(jié)果則是很好的例子.2021/4/1320金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：HADOOP和SPARK. 對(duì)于大數(shù)據(jù)來說，最重要的還是對(duì)于數(shù)據(jù)的分析，從里面尋找有價(jià)值的數(shù)據(jù)幫助企業(yè)作出更好的商業(yè)決策。Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。2021/4/1321金融業(yè)大數(shù)據(jù)分析知

10、識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：HADOOP核心模塊:HDFS:HADOOP Distributed File SystemHADOOP YARN:工作安排和集群資源管理框架HADOOP MAPREDUCE:基于YARN的大數(shù)據(jù)并行處理.2021/4/1322金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：HADOOP附屬模塊:PIG:數(shù)據(jù)分析平臺(tái)HIVE:數(shù)據(jù)倉庫平臺(tái)Sqoop:使用JDBC導(dǎo)入關(guān)系型數(shù)據(jù)庫到HADOOPZookeeper:HADOOP關(guān)聯(lián)的小工具箱Mahout:HADOOP數(shù)據(jù)挖掘,尤其是推薦系統(tǒng) 2021/4/1323金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：HADOOP的優(yōu)點(diǎn)：

11、高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？臁８呷蒎e(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。2021/4/1324金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：SAS及HADOOP交互工具工作內(nèi)容模塊FILENAME通過DATA STEP在HADOOP讀寫文件SAS基礎(chǔ)PROC HADOOPSAS及HADOOP系統(tǒng)間的文件讀寫.執(zhí)行HADO

12、OP程序管理文件,執(zhí)行MAPREDUCE和PIG程序SAS基礎(chǔ)SQL傳輸提交HIVEql查詢和其他HIVEq命令給HIVE處理,結(jié)果返回給SASSAS/ACCESSLIBNAME邏輯庫將HIVE表轉(zhuǎn)化為SAS格式, SAS/ACCESS 將SAS程序轉(zhuǎn)化為HIVEql,并在返回SAS前盡可能多地在HIVEql處理SAS/ACCESS2021/4/1325金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開源的類Hadoop MapReduce的通用并行框架，Spark擁有Hadoop確良MapReduce所具有

13、的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘及機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。2021/4/1326金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：Spark 是在 Scala 語言中實(shí)現(xiàn)的，它將 Scala 用作其應(yīng)用程序框架。及 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對(duì)象一樣輕松地操作分布式數(shù)據(jù)集。2021/4/1327金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)3.重要大數(shù)據(jù)平臺(tái)：Spark Streaming處理Stream數(shù)據(jù)的框架，基本的原

14、理是將Stream數(shù)據(jù)分成小的時(shí)間片斷（幾秒），以類似batch批量處理的方式來處理這小部分?jǐn)?shù)據(jù)。一方面是因?yàn)镾park的低延遲執(zhí)行引擎（100ms+），也可以用于實(shí)時(shí)計(jì)算，另一方面相比基于Record的其它處理框架（如Storm），一部分窄依賴的RDD數(shù)據(jù)集可以從源數(shù)據(jù)重新計(jì)算達(dá)到容錯(cuò)處理目的。此外小批量處理的方式使得它可以同時(shí)兼容批量和實(shí)時(shí)數(shù)據(jù)處理的邏輯和算法。方便了一些需要?dú)v史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)聯(lián)合分析的特定應(yīng)用場(chǎng)合。2021/4/1328金融業(yè)大數(shù)據(jù)分析知識(shí)基礎(chǔ)小結(jié): SAS,PYTHON,SCALA,JAVA, 機(jī)器學(xué)習(xí),算法研究, SPARK基礎(chǔ),HADOOP基礎(chǔ).https:/www

15、.continuum.io PYTHON sas university version/bbs ,機(jī)器學(xué)習(xí)+PYTHON,文本挖掘+SAS,SAS+HADOOP,SAPRK+SCALA歡迎大家索取相關(guān)資料或者咨詢2021/4/1329未來新發(fā)展:文本挖掘交易實(shí)時(shí)智能化交易實(shí)時(shí)優(yōu)化交易實(shí)時(shí)高速化2021/4/1330未來新發(fā)展:文本挖掘 文本挖掘模塊:2021/4/1331未來新發(fā)展:文本挖掘 文本挖掘內(nèi)容:1.導(dǎo)入文本數(shù)據(jù)2.解析提取特征3.數(shù)據(jù)轉(zhuǎn)化4.聚類和主題提取2021/4/1332未來新發(fā)展:文本挖掘 文本挖掘可以實(shí)現(xiàn)輿情分析,挖掘客戶評(píng)價(jià),改善服務(wù)質(zhì)量. 文本挖掘可以通過文本數(shù)據(jù)引入抽調(diào)預(yù)測(cè)模型效果. 順