《數(shù)據(jù)分析基礎(chǔ)》課件

數(shù)據(jù)分析基礎(chǔ)掌握數(shù)據(jù)世界的鑰匙，轉(zhuǎn)化信息為智慧與決策課程概述基礎(chǔ)理論知識(shí)統(tǒng)計(jì)方法與數(shù)據(jù)處理技術(shù)分析工具應(yīng)用Excel與Python實(shí)戰(zhàn)案例實(shí)踐學(xué)習(xí)多領(lǐng)域分析案例解析職業(yè)技能提升數(shù)據(jù)分析師能力培養(yǎng)什么是數(shù)據(jù)分析？定義通過檢查數(shù)據(jù)發(fā)現(xiàn)有用信息的過程重要性支持決策制定，發(fā)現(xiàn)隱藏模式應(yīng)用領(lǐng)域商業(yè)、醫(yī)療、教育、金融、科研數(shù)據(jù)分析的流程數(shù)據(jù)收集獲取原始數(shù)據(jù)數(shù)據(jù)處理清洗和轉(zhuǎn)換數(shù)據(jù)數(shù)據(jù)分析應(yīng)用分析方法結(jié)果呈現(xiàn)可視化和報(bào)告數(shù)據(jù)類型定量數(shù)據(jù)可測(cè)量的數(shù)值型數(shù)據(jù)連續(xù)型：身高、溫度離散型：人數(shù)、次數(shù)定性數(shù)據(jù)描述性、分類性數(shù)據(jù)名義型：性別、國(guó)籍有序型：滿意度等級(jí)時(shí)間序列數(shù)據(jù)按時(shí)間順序記錄的數(shù)據(jù)股票價(jià)格變化氣溫日變化數(shù)據(jù)來源一手?jǐn)?shù)據(jù)自行收集的原始數(shù)據(jù)問卷調(diào)查實(shí)驗(yàn)記錄二手?jǐn)?shù)據(jù)他人收集的數(shù)據(jù)研究報(bào)告行業(yè)統(tǒng)計(jì)公開數(shù)據(jù)集政府或機(jī)構(gòu)開放的數(shù)據(jù)統(tǒng)計(jì)局?jǐn)?shù)據(jù)開放數(shù)據(jù)平臺(tái)數(shù)據(jù)收集方法問卷調(diào)查通過問卷收集結(jié)構(gòu)化信息線上問卷面對(duì)面調(diào)查實(shí)驗(yàn)在受控環(huán)境下獲取數(shù)據(jù)A/B測(cè)試對(duì)照實(shí)驗(yàn)觀察直接記錄行為或現(xiàn)象用戶行為觀察自然現(xiàn)象記錄數(shù)據(jù)質(zhì)量準(zhǔn)確性數(shù)據(jù)反映真實(shí)情況完整性數(shù)據(jù)無缺失一致性數(shù)據(jù)內(nèi)部協(xié)調(diào)時(shí)效性數(shù)據(jù)保持最新數(shù)據(jù)清洗為什么需要數(shù)據(jù)清洗？提高數(shù)據(jù)質(zhì)量消除分析障礙確保結(jié)果可靠常見的數(shù)據(jù)問題缺失值異常值重復(fù)數(shù)據(jù)格式不一致數(shù)據(jù)清洗技術(shù)刪除重復(fù)值識(shí)別并移除數(shù)據(jù)集中的重復(fù)記錄處理缺失值填充、刪除或插補(bǔ)缺失數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)格式統(tǒng)一日期、數(shù)字、文本格式描述性統(tǒng)計(jì)中心趨勢(shì)數(shù)據(jù)集中位置離散程度數(shù)據(jù)分散情況分布形狀數(shù)據(jù)分布特征中心趨勢(shì)度量平均值所有數(shù)據(jù)的算術(shù)平均中位數(shù)排序后居中的數(shù)據(jù)眾數(shù)出現(xiàn)頻率最高的數(shù)據(jù)離散程度度量方差數(shù)據(jù)與平均值差異的平方和的均值標(biāo)準(zhǔn)差方差的平方根，常用分散度量四分位距數(shù)據(jù)中間50%的范圍數(shù)據(jù)分布1正態(tài)分布呈鐘形曲線，兩側(cè)對(duì)稱2偏態(tài)分布不對(duì)稱分布，有偏向3峰態(tài)分布曲線尖峰或平緩程度數(shù)據(jù)可視化基礎(chǔ)為什么進(jìn)行數(shù)據(jù)可視化？直觀呈現(xiàn)復(fù)雜數(shù)據(jù)發(fā)現(xiàn)隱藏模式有效傳達(dá)見解支持決策過程可視化的原則清晰簡(jiǎn)潔突出重點(diǎn)選擇合適圖表避免視覺干擾常用圖表類型柱狀圖比較不同類別的數(shù)量折線圖展示數(shù)據(jù)隨時(shí)間變化餅圖顯示部分與整體關(guān)系散點(diǎn)圖顯示兩變量之間關(guān)系高級(jí)圖表類型熱力圖用顏色表示數(shù)據(jù)密度或量級(jí)箱線圖展示數(shù)據(jù)分布和異常值樹狀圖層次關(guān)系的矩形嵌套表示雷達(dá)圖多變量數(shù)據(jù)的放射狀比較Excel在數(shù)據(jù)分析中的應(yīng)用數(shù)據(jù)輸入和整理導(dǎo)入和組織原始數(shù)據(jù)基本函數(shù)使用SUM、AVERAGE、COUNT等排序與篩選數(shù)據(jù)排序和條件篩選統(tǒng)計(jì)分析描述統(tǒng)計(jì)和基礎(chǔ)分析4Excel數(shù)據(jù)分析工具數(shù)據(jù)透視表強(qiáng)大的數(shù)據(jù)匯總和分析工具圖表制作多種圖表類型可視化數(shù)據(jù)條件格式根據(jù)數(shù)值設(shè)置視覺提示Python簡(jiǎn)介為什么選擇Python進(jìn)行數(shù)據(jù)分析？簡(jiǎn)潔易學(xué)的語(yǔ)法強(qiáng)大的數(shù)據(jù)分析庫(kù)廣泛的社區(qū)支持良好的可視化能力Python的優(yōu)勢(shì)處理大數(shù)據(jù)能力自動(dòng)化分析流程機(jī)器學(xué)習(xí)整合跨平臺(tái)兼容性Python基礎(chǔ)變量和數(shù)據(jù)類型整數(shù)、浮點(diǎn)數(shù)、字符串、列表、字典控制結(jié)構(gòu)條件語(yǔ)句、循環(huán)、迭代器函數(shù)定義、調(diào)用、參數(shù)傳遞NumPy庫(kù)介紹NumPy提供高性能數(shù)組處理能力，顯著提升計(jì)算效率Pandas庫(kù)介紹數(shù)據(jù)結(jié)構(gòu)Series：一維標(biāo)簽數(shù)組DataFrame：二維表格結(jié)構(gòu)數(shù)據(jù)讀取CSV、Excel文件SQL數(shù)據(jù)庫(kù)JSON、HTML數(shù)據(jù)數(shù)據(jù)寫入導(dǎo)出多種格式數(shù)據(jù)庫(kù)存儲(chǔ)Pandas數(shù)據(jù)處理數(shù)據(jù)篩選條件過濾、切片操作數(shù)據(jù)分組分組聚合、透視分析數(shù)據(jù)合并連接、合并多個(gè)數(shù)據(jù)集Matplotlib庫(kù)介紹Matplotlib是Python強(qiáng)大的可視化庫(kù)，支持創(chuàng)建各種專業(yè)圖表Seaborn庫(kù)介紹統(tǒng)計(jì)圖表基于統(tǒng)計(jì)模型的可視化美化圖表專業(yè)外觀和配色方案復(fù)雜數(shù)據(jù)展示多維數(shù)據(jù)的高級(jí)可視化相關(guān)性分析Pearson相關(guān)系數(shù)線性關(guān)系測(cè)量-1到1之間取值適用于連續(xù)變量Spearman相關(guān)系數(shù)秩相關(guān)系數(shù)測(cè)量單調(diào)關(guān)系適用于有序數(shù)據(jù)回歸分析基礎(chǔ)簡(jiǎn)單線性回歸一個(gè)自變量對(duì)因變量的影響多元線性回歸多個(gè)自變量共同作用非線性回歸復(fù)雜曲線關(guān)系擬合假設(shè)檢驗(yàn)提出假設(shè)設(shè)立原假設(shè)和備擇假設(shè)計(jì)算統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量和P值比較臨界值與顯著性水平比對(duì)決策接受或拒絕原假設(shè)時(shí)間序列分析趨勢(shì)分析長(zhǎng)期變化方向季節(jié)性分析周期性變動(dòng)模式循環(huán)分析非固定周期波動(dòng)不規(guī)則分析隨機(jī)波動(dòng)因素聚類分析K-means聚類基于距離的分組方法層次聚類自下而上或自上而下構(gòu)建層次結(jié)構(gòu)主成分分析(PCA)原理降維技術(shù)，尋找最大方差方向數(shù)據(jù)壓縮減少維度保留信息3可視化高維數(shù)據(jù)將多維數(shù)據(jù)投影到二維平面機(jī)器學(xué)習(xí)簡(jiǎn)介監(jiān)督學(xué)習(xí)有標(biāo)簽數(shù)據(jù)訓(xùn)練分類問題回歸問題1無監(jiān)督學(xué)習(xí)無標(biāo)簽數(shù)據(jù)中尋找模式聚類分析降維技術(shù)2強(qiáng)化學(xué)習(xí)通過獎(jiǎng)懲學(xué)習(xí)策略決策過程自主學(xué)習(xí)分類算法決策樹基于特征劃分?jǐn)?shù)據(jù)隨機(jī)森林多決策樹集成學(xué)習(xí)支持向量機(jī)尋找最優(yōu)分隔超平面預(yù)測(cè)模型線性回歸預(yù)測(cè)連續(xù)數(shù)值銷售額預(yù)測(cè)溫度變化趨勢(shì)邏輯回歸二分類概率預(yù)測(cè)客戶流失預(yù)測(cè)風(fēng)險(xiǎn)評(píng)估時(shí)間序列預(yù)測(cè)基于歷史數(shù)據(jù)預(yù)測(cè)未來股票價(jià)格預(yù)測(cè)季節(jié)性銷售預(yù)測(cè)模型評(píng)估95%準(zhǔn)確率正確預(yù)測(cè)比例92%精確率預(yù)測(cè)為正的準(zhǔn)確度94%召回率正例識(shí)別比例0.93F1分?jǐn)?shù)精確率和召回率綜合大數(shù)據(jù)分析簡(jiǎn)介體量數(shù)據(jù)規(guī)模巨大速度數(shù)據(jù)產(chǎn)生和處理迅速2多樣性結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)3真實(shí)性數(shù)據(jù)質(zhì)量和可靠性4價(jià)值從數(shù)據(jù)中提取洞見大數(shù)據(jù)處理技術(shù)Hadoop分布式存儲(chǔ)系統(tǒng)MapReduce計(jì)算框架處理大規(guī)模數(shù)據(jù)集Spark內(nèi)存計(jì)算引擎實(shí)時(shí)數(shù)據(jù)處理ML和圖計(jì)算能力數(shù)據(jù)挖掘關(guān)聯(lián)規(guī)則挖掘發(fā)現(xiàn)項(xiàng)目間關(guān)聯(lián)關(guān)系2序列模式挖掘識(shí)別數(shù)據(jù)中時(shí)間順序模式3異常檢測(cè)識(shí)別偏離常規(guī)的數(shù)據(jù)點(diǎn)文本分析文本預(yù)處理分詞、去停用詞、詞形還原詞頻分析統(tǒng)計(jì)詞語(yǔ)出現(xiàn)頻率情感分析識(shí)別文本情緒傾向主題模型提取文本主題和類別社交網(wǎng)絡(luò)分析網(wǎng)絡(luò)圖節(jié)點(diǎn)和連接關(guān)系可視化中心性分析識(shí)別網(wǎng)絡(luò)中關(guān)鍵節(jié)點(diǎn)社區(qū)檢測(cè)發(fā)現(xiàn)緊密連接的群體地理空間數(shù)據(jù)分析地圖可視化在地圖上展示數(shù)據(jù)分布空間聚類識(shí)別地理位置相近數(shù)據(jù)組空間模式分析地理位置相關(guān)性研究數(shù)據(jù)分析倫理1道德使用合理合法使用數(shù)據(jù)隱私保護(hù)尊重個(gè)人數(shù)據(jù)權(quán)利數(shù)據(jù)安全防止數(shù)據(jù)泄露和濫用數(shù)據(jù)分析報(bào)告撰寫報(bào)告結(jié)構(gòu)摘要、問題、方法、結(jié)果、建議2數(shù)據(jù)呈現(xiàn)技巧使用適當(dāng)圖表和表格3洞察提取明確強(qiáng)調(diào)關(guān)鍵發(fā)現(xiàn)數(shù)據(jù)分析案例：銷售數(shù)據(jù)分析數(shù)據(jù)描述銷售記錄、客戶信息、產(chǎn)品類別分析過程趨勢(shì)識(shí)別、關(guān)聯(lián)分析、客戶細(xì)分結(jié)果解釋銷售高峰期、最佳產(chǎn)品組合、客戶畫像數(shù)據(jù)分析案例：用戶行為分析數(shù)據(jù)收集網(wǎng)站點(diǎn)擊流、停留時(shí)間、轉(zhuǎn)化路徑行為模式識(shí)別典型用戶路徑、流失節(jié)點(diǎn)、興趣偏好洞察提取用戶分層、個(gè)性化策略、界面優(yōu)化建議數(shù)據(jù)分析案例：金融風(fēng)險(xiǎn)評(píng)估風(fēng)險(xiǎn)指標(biāo)違約率信用評(píng)分市場(chǎng)波動(dòng)性模型構(gòu)建信用評(píng)分模型違約預(yù)測(cè)投資組合優(yōu)化風(fēng)險(xiǎn)預(yù)測(cè)早期預(yù)警系統(tǒng)壓力測(cè)試風(fēng)險(xiǎn)控制策略數(shù)據(jù)分析案例：醫(yī)療健康數(shù)據(jù)分析病歷數(shù)據(jù)處理病歷數(shù)字化和標(biāo)準(zhǔn)化疾病預(yù)測(cè)模型風(fēng)險(xiǎn)評(píng)估和早期篩查2健康趨勢(shì)分析人群健康狀況監(jiān)測(cè)治療效果分析不同治療方案比較4數(shù)據(jù)分析案例：環(huán)境數(shù)據(jù)分析污染數(shù)據(jù)收集傳感器網(wǎng)絡(luò)實(shí)時(shí)監(jiān)測(cè)時(shí)空分析污染擴(kuò)散模型預(yù)警系統(tǒng)閾值監(jiān)測(cè)與預(yù)警數(shù)據(jù)分析案例：教育數(shù)據(jù)分析學(xué)生成績(jī)分析績(jī)點(diǎn)分布與學(xué)科相關(guān)性2學(xué)習(xí)行為模式在線學(xué)習(xí)平臺(tái)使用數(shù)據(jù)教育資源優(yōu)化課程設(shè)置與師資配置4個(gè)性化學(xué)習(xí)路徑基于數(shù)據(jù)的學(xué)習(xí)推薦數(shù)據(jù)分析工具比較工具適用場(chǎng)景優(yōu)勢(shì)劣勢(shì)Excel小型數(shù)據(jù)集分析易用性高大數(shù)據(jù)處理能力弱Python編程分析自動(dòng)化靈活強(qiáng)大學(xué)習(xí)曲線較陡R統(tǒng)計(jì)分析統(tǒng)計(jì)功能豐富通用編程弱于PythonTableau商業(yè)智能可視化可視化效果佳高級(jí)分析能力有限數(shù)據(jù)分析崗位介紹￥15K數(shù)據(jù)分析師基礎(chǔ)數(shù)據(jù)分析和報(bào)告￥25K數(shù)據(jù)科學(xué)家高級(jí)建模和算法開發(fā)￥20K商業(yè)智能分析師業(yè)務(wù)數(shù)據(jù)可視化和解讀數(shù)據(jù)分析技能樹專家級(jí)能力創(chuàng)新分析方法和工具進(jìn)階技能高級(jí)統(tǒng)計(jì)分析和建模3中級(jí)技能數(shù)據(jù)處理和可視化4基礎(chǔ)能力統(tǒng)計(jì)學(xué)基礎(chǔ)和工具使用數(shù)據(jù)分析項(xiàng)目管理項(xiàng)目規(guī)劃明確目標(biāo)和范圍團(tuán)隊(duì)協(xié)作角色分工和溝通進(jìn)度控制里程碑設(shè)定和跟蹤質(zhì)量保證結(jié)果驗(yàn)證和審核數(shù)據(jù)驅(qū)動(dòng)決策收集相關(guān)數(shù)據(jù)獲取決策所需信息分析數(shù)據(jù)洞察提取關(guān)鍵見解基于數(shù)據(jù)決策選擇最優(yōu)方案監(jiān)測(cè)結(jié)果反饋持續(xù)優(yōu)化決策數(shù)據(jù)分析趨勢(shì)人工智能與數(shù)據(jù)分析AI輔助分析和決策實(shí)時(shí)數(shù)據(jù)分析即時(shí)洞察和響應(yīng)邊緣計(jì)算本地化數(shù)據(jù)處理增強(qiáng)分析人機(jī)協(xié)同分析模式數(shù)據(jù)分析挑戰(zhàn)數(shù)據(jù)質(zhì)量問題不完整數(shù)據(jù)不準(zhǔn)確記錄數(shù)據(jù)偏差技能更新新工具學(xué)習(xí)算法更新領(lǐng)域知識(shí)擴(kuò)展跨領(lǐng)域應(yīng)用業(yè)務(wù)理解障礙溝通效率專業(yè)術(shù)語(yǔ)差異如何提升數(shù)據(jù)分析能力