數(shù)據(jù)統(tǒng)計分析與數(shù)據(jù)挖掘完整ppt課件

數(shù)據(jù)統(tǒng)計分析與數(shù)據(jù)挖掘,馬繼華,目錄,這是什么？,報紙比雜志好。海邊比大街好。一開始就跑比走好。你可能得試幾次，也可能需要借助某種技巧，但很容易學，就連孩子都能享受其中的樂趣。一旦成功了，它就一點兒都不復雜。鳥兒很少會離太近。雨能迅速把它浸透。如果有很多人做同樣的事就會引發(fā)問題，因為僅僅一個人就需要許多空間。不過，只要不發(fā)生糾紛，一切就會很祥和。巖石可以當停放的地方?？梢坏昝撻_，你就不會有第二次機會。,1087,什么是市場分析,全業(yè)務下市場分析的重點與目的,分析企業(yè)經(jīng)營業(yè)務的性質(zhì)分析應著眼于未來研究過去和現(xiàn)在的信息在歷史資料中尋找先導指標注意有關未來的信息掌握管理當局的意圖分析企業(yè)報告信息的相對可靠性了解相對于競爭對手和其他企業(yè)的業(yè)績及時了解影響企業(yè)的重大變動,中國通信市場的發(fā)展機遇和格局,3G因素,全業(yè)務因素,移動互聯(lián)網(wǎng),三網(wǎng)融合,三大緯度決定全業(yè)務市場競爭格局,業(yè)務緯度,用戶規(guī)模指標,業(yè)務收入指標,業(yè)務量指標,注冊用戶數(shù)過網(wǎng)用戶數(shù)新增用戶數(shù)客戶數(shù),各業(yè)務收入本地話音業(yè)務收入長途話音業(yè)務收入數(shù)據(jù)業(yè)務收入結(jié)算收入等,通話次數(shù)上網(wǎng)次數(shù)通話時長計費時長上網(wǎng)時長,指標緯度,寬帶,固定業(yè)務,移動,成功的分析需要具備的關鍵條件,數(shù)據(jù)提取和收集選取正確的數(shù)據(jù)來源，同時不影響正常的生產(chǎn)環(huán)境必須對現(xiàn)有計費系統(tǒng)和數(shù)據(jù)結(jié)構(gòu)有明確的了解在數(shù)據(jù)提取效率和提取深度之間進行權衡數(shù)據(jù)挖掘和分析做出適當?shù)募僭O，并對各類假設進行優(yōu)先排序嘗試所有的分析緯度，各種變量之間進行排列組合對數(shù)值進行合理的歸類或近似處理數(shù)據(jù)表達和說明選取合適的圖表類型，一張圖表勝過千言萬語突出重點，能直接為決策提供支撐依據(jù)為進一步分析留有足夠的空間,解釋清楚以下問題是合格分析師,臺灣某媒體報道：平均水深到膝蓋，卻淹死了人30%車禍是持駕照三年以下者所為，所以新駕駛員容易闖禍出生在上半年的人更容易成為球星出動消防員越多火災損失就越大限購使北京交通擁堵狀況下降了15%我國航班正點率屬國際中上水平學歷高的人收入高人民幣33年貶值6倍多白銀的投資掙錢空間仍然巨大,莫學國家統(tǒng)計局壞榜樣,指標構(gòu)成原始數(shù)據(jù)采集不當調(diào)查范圍走偏調(diào)查方式錯誤計算方法杜撰數(shù)據(jù)報告和諧平均遮掩差距,問題出在哪里,做好市場分析的針對性建議,全業(yè)務運營情況下的分析理念變革,適應全業(yè)務和3G移動互聯(lián)網(wǎng)發(fā)展需要適應三網(wǎng)融合下的電信市場新格局分析為以客戶為中心的精確化營銷活動提供支持點面結(jié)合、逐層深化的問題本源挖掘思路適應不同層級對數(shù)據(jù)分析結(jié)果的使用使用定量與定性方法相結(jié)合的科學分析,Starbucks2for1Christmasdrinks,從11月2日（本周五）到11月5日（下周一），每天下午2點到5點之間，隨便進一家Starbucks星巴克店里，不管大中小size的下列任何一款Christmasdrinks都可以2for1，就是買一送一（2杯中，最便宜的那一款免費送）很適合和一個好朋友一起去哦只用花一杯的錢，就能一人一杯啦,我們可以采用的主要分析方法,統(tǒng)計串連比較合成拆分推理反證,目錄,應該掌握的數(shù)據(jù)分析工具場,多渠道多途徑獲取足夠信息和情報,二手資料的使用：懷疑的尊重,國八條與京十五條,國務院總理溫家寶26日主持召開國務院常務會議，研究部署進一步做好房地產(chǎn)市場調(diào)控工作。會議指出，自去年4月份國務院關于堅決遏制部分城市房價過快上漲的通知印發(fā)后，房地產(chǎn)市場出現(xiàn)積極變化，房價過快上漲勢頭得到初步遏制。為鞏固和擴大調(diào)控成果，逐步解決城鎮(zhèn)居民住房問題，繼續(xù)有效遏制投資投機性購房，促進房地產(chǎn)市場平穩(wěn)健康發(fā)展，必須進一步做好房地產(chǎn)市場調(diào)控工作。為鞏固和擴大調(diào)控成果，堅決貫徹落實國務院辦公廳關于進一步做好房地產(chǎn)市場調(diào)控工作有關問題的通知(國辦發(fā)20111號)精神，進一步做好本市房地產(chǎn)市場調(diào)控工作，逐步解決城鎮(zhèn)居民住房問題，促進房地產(chǎn)市場平穩(wěn)健康發(fā)展，結(jié)合本市實際，經(jīng)市政府同意，現(xiàn)就有關問題通知如下：,公開資料中的洞察秋毫,運營商高管分工對比：中國聯(lián)通董事長常小兵：（中國聯(lián)合網(wǎng)絡通信集團有限公司董事長、黨組書記）負責公司全面工作，分管董事會辦公室，人力資源部（高管人員部分）；中國移動董事長、黨組書記王建宙主持公司全面工作。中國聯(lián)通總裁陸益民（中國聯(lián)合網(wǎng)絡通信集團有限公司總經(jīng)理、副董事長、黨組副書記）分管綜合部、戰(zhàn)略投資部，人力資源部（高管人員外的部分）、國際業(yè)務部、聯(lián)通研究院、國家工程實驗室；中國移動總裁、黨組成員李躍主持公司生產(chǎn)經(jīng)營管理工作，組織實施董事會決議。,確保數(shù)據(jù)質(zhì)量是做好分析的關鍵基礎,精度：最低的抽樣誤差或隨機誤差準確性：最小的非抽樣誤差或偏差關聯(lián)性：滿足用戶決策、管理和研究的需要及時性：在最短的時間里取得并公布數(shù)據(jù)一致性：保持時間序列的可比性最低成本：以最經(jīng)濟的方式取得數(shù)據(jù),認真看下面的數(shù)據(jù),數(shù)據(jù)整理和統(tǒng)計分析,來源甄別配額核實加權處理檢查邏輯問題檢查分布情況特異值遺漏項重復數(shù)據(jù)刪除多余數(shù)據(jù)缺失值處理信度,觀察這個,將定性資料轉(zhuǎn)化為定量資料進行研究,數(shù)據(jù)特征與測度是分析的第一步,離散程度的測度：異眾比率,非眾數(shù)組的頻數(shù)占總頻數(shù)的比率,離散程度的測度：四分位差,上四分位數(shù)與下四分位數(shù)之差QD=QUQL反映中間50%數(shù)據(jù)的離散程度,解：設非常不滿意為1,不滿意為2,一般為3,滿意為4,非常滿意為5已知QL=不滿意=2，QU=一般=3四分位差：QD=QU=QL=32=1,離散程度的測度：方差及標準差,組距分組數(shù)據(jù)：,未分組數(shù)據(jù)：,組距分組數(shù)據(jù)：,方差的計算公式,標準差的計算公式,未分組數(shù)據(jù)：,標準差與其相應的均值之比消除了數(shù)據(jù)水平高低和計量單位的影響測度了數(shù)據(jù)的相對離散程度用于對不同組別數(shù)據(jù)離散程度的比較計算公式為,離散系數(shù),標準化可以幫助完善考核合理性,給出某一個值在一組數(shù)據(jù)中的相對位置可用于判斷一組數(shù)據(jù)是否有離群點用于對變量的標準化處理計算公式為,【例】某省移動用戶數(shù)，2006年、2007年、2008年和2009年增長率分別為4.5%、2.0%、3.5%、5.4%。計算該省在這四年內(nèi)的平均用戶增長率。,平均增長率103.84%-1=3.84%,幾何平均數(shù)計算用戶增長率,方差分析測量數(shù)據(jù)的離散程度,A、B兩組各有6位客戶的ARPU：A組為95、85、75、65、55、45B組為73、72、71、69、68、67,2010年11月運營商用戶數(shù),HHI指數(shù)評估市場競爭態(tài)勢,式中：X市場的總規(guī)模Xii企業(yè)的規(guī)模Si=Xi/X第i個企業(yè)的市場占有率n該產(chǎn)業(yè)內(nèi)的企業(yè)數(shù),主要高級統(tǒng)計分析方法介紹,度量變量之間關聯(lián)程度的方法叫相關分析。如果考慮的是兩個變量之間關系時，稱為簡單相關；如果討論一個變量與兩個或多個其他變量的關系時，就稱為復相關或偏相關相關分析只是測定變量之間的相關程度。它考慮的是隨機變量之間的共同變動，不必區(qū)分自變量和因變量我們通過觀察相關系數(shù)的大小和雙側(cè)檢驗的值來分析變量間相關程度的大小。一般來說，sig的值小于0.005,我們可以認定變量間存在比較強的正相關或者負相關。應用：1、銷售與廣告支出的關聯(lián)程度2、市場份額與銷售隊伍3、顧客的質(zhì)量觀與價格觀,相關分析（Correlations）,回歸分析是根據(jù)已知的一個或一個以上變量(自變量)的值來估計另一個變量(因變量)的值，并且算出估計的誤差，所建立的數(shù)學模型及所進行的統(tǒng)計分析?；貧w分析是希望得出一個有關各個變量之間聯(lián)系的數(shù)字表達式，其中只有目標變量因變量假設為隨機變動，而自變量均為已知常數(shù)回歸分析可以分為線性回歸分析和曲線回歸分析應用：銷售差異能夠用廣告支出、價格、分銷水平上的差異解釋市場份額的差異能夠用銷售力量的強弱，廣告支出和促銷額來解釋消費者對產(chǎn)品質(zhì)量判斷是由產(chǎn)品價格、品牌形象和屬性決定度量影響程度的大小,回歸分析,一元回歸分析,案例：中金對房價的分析,富士康事件的Logistic回歸,時間序列預測法,彈性分析,彈性分析農(nóng)村居民需求與收入關系,彈性分析農(nóng)村通信需求與收入關系,數(shù)據(jù)分析應注意的幾個問題,要注意每種統(tǒng)計分析方法的適用范圍在選擇一種分析方法的同時，要按照方法的要求整理數(shù)據(jù)庫如果必要，可以使用不同的研究方法對同一問題進行解釋，來互相驗證結(jié)論的真?zhèn)纹娴南嘈湃魏胃呒壏治龇椒?，哪怕是世界上最先進的分析模型，研究失誤都是必然的數(shù)據(jù)分析結(jié)果要使用通俗易懂的語言或圖表進行描述哪怕是一點點的失誤，都可能產(chǎn)生“蝴蝶效應”，讓研究變的一錢不值統(tǒng)計分析方法高級不一定是最好的，簡單有效能夠解決問題才是最好的,目錄,結(jié)構(gòu)化的思維方式非常重要,10張,5張,2張,戰(zhàn)略舉措優(yōu)先排序法分析業(yè)務前景,家庭客戶業(yè)務的市場分析,業(yè)務營銷鐘擺理論,信任,價值,安全,自主,便捷,PEST分析模型分析經(jīng)營環(huán)境,競爭環(huán)境分析,政治因素分析,主要分析國家對電信行業(yè)實施的相關政策，例如管制政策和資費政策的變化給電信企業(yè)帶來的機遇和挑戰(zhàn)。,主要分析經(jīng)濟發(fā)展與通信業(yè)發(fā)展的互動關系，以經(jīng)濟發(fā)展對通信業(yè)發(fā)展的影響，以及給電信企業(yè)帶來的機遇與挑戰(zhàn)。,經(jīng)濟因素分析,主要分析人口規(guī)模和結(jié)構(gòu)、消費模式等的變化對通信業(yè)發(fā)展的影響，以及給電信企業(yè)帶來的機遇與挑戰(zhàn)。,社會因素分析,主要分析通信技術、信息技術等的發(fā)展對電信運營環(huán)境帶來的影響，以及給電信企業(yè)帶來的機遇與挑戰(zhàn)。,技術因素分析,P/政治,E/經(jīng)濟,S/社會,T/技術,胡錦濤總書記提出“大力發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)”，溫家寶總理提出“感知中國”，十二五規(guī)劃將物聯(lián)網(wǎng)列為戰(zhàn)略性新興產(chǎn)業(yè)，物聯(lián)網(wǎng)專項資金扶持政策出臺。,金融危機的影響；產(chǎn)業(yè)結(jié)構(gòu)調(diào)整及經(jīng)濟發(fā)展方式轉(zhuǎn)型升級；物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展帶來產(chǎn)業(yè)集聚效應；各地產(chǎn)業(yè)園區(qū)如雨后春筍出現(xiàn)。,中國互聯(lián)網(wǎng)發(fā)展迅猛，網(wǎng)民數(shù)量全球第一，奠定物聯(lián)網(wǎng)發(fā)展基礎；用戶需求刺激，物聯(lián)網(wǎng)各項應用潛在市場巨大；城市的發(fā)展需要物聯(lián)網(wǎng)相關技術及應用來輔助政府管理。,在無線智能傳感器網(wǎng)絡通信技術、微型傳感器、傳感器終端機和移動基站等方面取得重大進展；標準方面與德、美、韓一起成為國際標準制定的主導國之一；在通信、網(wǎng)絡等領域申請了大量具有自主知識產(chǎn)權的技術專利。,中國物聯(lián)網(wǎng)行業(yè)發(fā)展分析,價格分道揚鑣,電信運營商的十面埋伏與中原突圍,問題樹分析方法分析問題癥結(jié)根源,滿意度下降,網(wǎng)絡問題,渠道問題,價格問題,固定,移動,寬帶,固話,3G,問題樹是為了證明或證偽某個假設而羅列出的一系列問題。問題樹在結(jié)構(gòu)和假設之間搭起了橋梁。利用結(jié)構(gòu)框架，每個問題可以分解為若干子問題，子問題可進一步細分。通過創(chuàng)建問題樹，所有的問題和子問題都以一種看得見的方式展示出來。這樣一來，就可以根據(jù)迅速消除分析過程中的一些死角，因為依據(jù)對問題的回答你可以立刻刪除某些不必要的分枝。,2G,房價上漲的癥結(jié)在哪里,PDCA分析模型用于項目管理和分析,營銷管控體系構(gòu)成,KANO模型分析影響客戶需求的因素,客戶需要怎樣的智能終端,網(wǎng)絡,系統(tǒng),芯片,電池,攝像頭,這些可能是必須考慮的關鍵因素,3GMOBILE,屏幕,WIFI,網(wǎng)絡功能能力,隨手拍,BCG矩陣,SCP模型分析競爭對手和外部沖擊,三網(wǎng)融合給運營商帶來的沖擊,SWOT分析尋找企業(yè)戰(zhàn)略發(fā)展目標,扭轉(zhuǎn)性策略,增長性策略,多元性策略,防御性策略,系統(tǒng)分析運營商渠道體系,波特五力模型分析企業(yè)競爭戰(zhàn)略,運營商的應用程序商店發(fā)展分析,戰(zhàn)略鐘模型分析企業(yè)競爭戰(zhàn)略,產(chǎn)品的鉆石定位法則,以客戶為中心的分析,LBS：我在哪？和誰一起？附近有啥？,一樣的優(yōu)惠，不一樣的說法,公司七位領導可以選任何一款套餐送最貴的價值5800元的手機,目錄,數(shù)據(jù)統(tǒng)計分析的核心,1.總量：有多少2.趨勢：去何處3、結(jié)構(gòu)：變哪里4、對比：找差距5、關系：曉因果,81,對比分析法了解企業(yè)經(jīng)營發(fā)展狀況,根據(jù)經(jīng)濟現(xiàn)象之間的內(nèi)在聯(lián)系，對相關指標進行對比，以分析其數(shù)量關系及形成原因的分析方法，是最基本的分析方法。主要的參照系有三種：歷史標準：說明其增長或發(fā)展速度計劃標準：說明其工作目標完成情況行業(yè)標準：與行業(yè)平均標準比較以說明橫向的優(yōu)劣和先進標準比較說明其差距對比分析包括：絕對數(shù)的對比：業(yè)務發(fā)展增長幅度相對數(shù)的對比：主線普及率的增長情況通過office系列軟件制作直觀的圖表進行表現(xiàn)表格業(yè)務、工作情況餅圖結(jié)構(gòu)比例曲線發(fā)展趨勢柱狀圖橫向比較分析或目標完成情況線柱組合圖業(yè)務的雙指標完成情況示例：發(fā)展情況絕對數(shù)總體累計增長情況電話用戶數(shù)增長,一定時段內(nèi)規(guī)模增長本年放號相對數(shù)較基期倍數(shù)：表現(xiàn)為發(fā)展業(yè)績整體比較等較基期增加：表現(xiàn)為發(fā)展業(yè)績在基期基礎上的增加幅度多用柱線圖表示示例：完成情況（戰(zhàn)略規(guī)劃計劃目標）絕對數(shù)：預定目標完成數(shù)量相對數(shù)：計劃完成比例售卡收入完成年度計劃的90%時間進度按照每月完成1/12年計劃的進度多用柱線圖表示具體內(nèi)容與計劃對比與上期對比與去年同期、上期對比與歷史最好水平對比與總體平均水平對比與國際、國內(nèi)最好水平對比,運營商之間競爭的實力對比,數(shù)據(jù)來源：2008年工信部統(tǒng)計月報、中國聯(lián)通月度統(tǒng)計資料,2009年底用戶數(shù)占有率與2008年底對比,收入變化分析,運營商區(qū)縣公司滿意度橫向?qū)Ρ?環(huán)比分析,同比分析,定基比分析,預測值與真實值比較,三家運營商的品牌對比分析,三家運營商的客戶俱樂部比較,相對價格感受才是關鍵,25-18,455-448,平衡分析法綜合評價企業(yè)經(jīng)營績效,平衡就是協(xié)調(diào)、和諧，是可持續(xù)。主要的平衡有兩種：動態(tài)I/O平衡對單一事物而言，均有一個新陳代謝和動態(tài)平衡的過程如：盈虧平衡、收支平衡綜合協(xié)調(diào)對于一個總體集合而言，其中各部分之間按照其數(shù)量關系、重要性關系等均有一個綜合協(xié)調(diào)的問題，這種協(xié)調(diào)就是一種平衡。,戰(zhàn)爭與美國經(jīng)濟,營業(yè)費用效益評估方法,動態(tài)分析法時刻關注企業(yè)發(fā)展趨勢,企業(yè)經(jīng)營是動態(tài)的過程，指標基本都是在動態(tài)變化過程中。圍繞動態(tài)現(xiàn)象進行分析就是動態(tài)分析。傳統(tǒng)動態(tài)指標發(fā)展速度增長速度平均發(fā)展速度平均增長速度其他動態(tài)指標：主要是考慮資金的時間價值與變動幅度。,三大運營商用戶數(shù)的發(fā)展變化,運營商市場份額,瑞銀對中國移動通信市場份額的預測,不同時段的在線人數(shù)透露出的信息,指數(shù)分析法實現(xiàn)同類指標的可比較,主要用于分析數(shù)量的相對變化程度。反映內(nèi)容數(shù)量指數(shù)質(zhì)量指數(shù)項目多少個體指數(shù)綜合指數(shù)對比場合時間指數(shù)區(qū)域指數(shù)計算形式簡單指數(shù)加權指數(shù),注意指數(shù)的構(gòu)成變化了解指數(shù)的權重分配,谷歌指數(shù)&百度指數(shù),德爾菲法運營商業(yè)務運營能力指數(shù),客戶投訴處理速度,客戶投訴強度,因素分析法明晰各因素的影響程度,分析有明確數(shù)量關聯(lián)關系的各因素之間的變動對總變動量的影響程度，從而揭示現(xiàn)象動態(tài)中的具體情況和原因。注意：因素之間要有明確的函數(shù)關系各因素之間相關作用，相互獨立注意各因素之間的連環(huán)替代的順序，基期數(shù)量要注意選擇分因素影響量之和等于總變化量分析某一因素影響時，必須假設其他因素不變,因素分析法探究收入未完成的原因,收入單價MOU年度平均用戶數(shù),因素分析法計算各部分的貢獻程度,語音收入變動對總收入變動的影響程度為比重法=0.457*0.2154=0.0984或9.84（個百分點）差額法=（5246.91-4316.86）9436.34=930.059436.34=0.0985或9.85個百分點計算結(jié)果表明收入增長了20.61%，其中語音收入貢獻了9.84個百分點，數(shù)據(jù)業(yè)務貢獻了10.77個百分點。,中國經(jīng)濟增長得益于人口紅利,異常分析法發(fā)現(xiàn)經(jīng)營中的突出問題,對企業(yè)生產(chǎn)經(jīng)營管理中的各種經(jīng)濟現(xiàn)象中比較突出的部分進行分析，就基本可以找到問題所在和解決辦法。如客戶流失預警。異常主要的情況：TOP標準：按照全部（或分組）排名，找出前n名和后n名設定標準：按照“同一把尺子”觀察分析不同的對象注意：標準要選擇恰當，泰勒把最優(yōu)作為標準何為“異?！睉鞔_，一般還是正常多異常少,客戶流失預警的有效識別,關鍵時點,果斷出擊,關鍵表現(xiàn),協(xié)議到期,預存款額不足,對手針對營銷,異網(wǎng)客服通話,消費驟降,長期或頻繁呼轉(zhuǎn),密切跟蹤,對離網(wǎng)用戶的分析,分析離網(wǎng)用戶的離網(wǎng)原因分析離網(wǎng)用戶的離網(wǎng)去向分析三家運營商的流動趨勢分析離網(wǎng)用戶的新入網(wǎng)原因分析離網(wǎng)用戶的在網(wǎng)使用行為分析用戶多機使用的行為規(guī)律,分析離網(wǎng)用戶的在網(wǎng)時評價分析離網(wǎng)用戶曾經(jīng)的投訴行為分析用戶對新入網(wǎng)運營商的評價分析用戶離網(wǎng)后對我公司的評價預測用戶的未來回歸可能性歸納離網(wǎng)用戶的群體特征和關鍵因素,分組分析法實現(xiàn)多側(cè)面的結(jié)構(gòu)剖析,按照統(tǒng)計分組原則，對于一個總體或集合，其各層次的組成部分之間都有內(nèi)在的聯(lián)系，有互補關系。對這些指標的分析就可以從不同的側(cè)面、按照不同的標志去解剖總體、分析總體，以便從總體的內(nèi)部結(jié)構(gòu)和內(nèi)在聯(lián)系中去發(fā)現(xiàn)問題。主要的參照系有三種：數(shù)量標準：說明應關注的重點區(qū)域標準：不同的區(qū)域一般代表不同的市場特征專業(yè)標準：如固網(wǎng)、增值、寬帶、移動,細分標準也許只在游戲之間,有1到9九個數(shù)，將它們分類，如1，3，5，7，92，4，6，8是按奇偶數(shù)分的，現(xiàn)問1，3，7，85，92，4，6是按什么把它們分成3類的呢？,適合全業(yè)務運營需要的客戶細分,趨勢分析法預測未來的客觀走向,趨勢線法趨勢線是已經(jīng)發(fā)生的事件和可能發(fā)生的事件之間的簡單指示器。趨勢線是為了將未來與歷史數(shù)據(jù)進行比擬，若一條直線或曲線與歷史上有過的數(shù)據(jù)類似，就可以進行預測。方法簡單只能對正常情況下短期的事件作出估計移動平均法在各個時間所得到的數(shù)據(jù)常常具有周期的和因時間不同而異的特點，這種特點擾亂了數(shù)據(jù)所服從的基本趨勢，對數(shù)據(jù)進行平滑或修勻處理就可以消除上述特點，移動平均則是其中一種方法。移動平均法是建立在列表法基礎上的。運用簡單結(jié)果不太準確最小平方法可以簡化地描述長期趨勢。最小平方法以時間