如何使用python數(shù)據(jù)處理解決數(shù)據(jù)沖突和樣本的選取

第如何使用python數(shù)據(jù)處理解決數(shù)據(jù)沖突和樣本的選取目錄內(nèi)容介紹實(shí)際業(yè)務(wù)數(shù)據(jù)沖突一般數(shù)據(jù)沖突類型：一般數(shù)據(jù)沖突原因：一般數(shù)據(jù)處理方法：樣本的選擇一般數(shù)據(jù)采樣方法：數(shù)據(jù)的共線性一般產(chǎn)生原因：解決共線性的5種常用方法：

內(nèi)容介紹

將日常工作中遇到的數(shù)數(shù)據(jù)沖突和樣本源的方法進(jìn)行總結(jié)，其中主要包括實(shí)際業(yè)務(wù)數(shù)據(jù)沖突、樣本選取問題、數(shù)據(jù)共線性等思路，并且長期更新。

實(shí)際業(yè)務(wù)數(shù)據(jù)沖突

多業(yè)務(wù)數(shù)據(jù)源沖突是指來自多個(gè)或具有相同業(yè)務(wù)邏輯但結(jié)果不同的系統(tǒng)，環(huán)境，平臺(tái)和工具的數(shù)據(jù)。

沖突的不同特征

一般數(shù)據(jù)沖突類型：

數(shù)據(jù)類型：同字段數(shù)據(jù)的格式不同。例如注冊(cè)日期的字段包含字符串。數(shù)

據(jù)結(jié)構(gòu)沖突：同一數(shù)據(jù)主體的描述結(jié)構(gòu)存在沖突。

記錄粒度不同：訂單記錄的粒度可以基于ID存儲(chǔ)在一條數(shù)據(jù)中。

數(shù)據(jù)范圍定義：提取的數(shù)據(jù)字段含義不同發(fā)生沖突。

數(shù)據(jù)值不同：一般發(fā)生情況是格式問題。

一般數(shù)據(jù)沖突原因：

內(nèi)部工具和第三方工具之間的數(shù)據(jù)沖突。

為什么獲得的數(shù)據(jù)與代理商或廣告媒體提供的廣告數(shù)據(jù)之間存在差異，有時(shí)差異會(huì)特別大？

網(wǎng)站分析工具獲得的數(shù)據(jù)與廣告媒體和代理商提供的數(shù)據(jù)之間不可避免地存在差異。

指標(biāo)的不同定義，不同的收集邏輯，系統(tǒng)過濾規(guī)則不同，不同的更新時(shí)間，不同的監(jiān)控位置等等不同步的原因都會(huì)產(chǎn)生這些問題。

一般數(shù)據(jù)處理方法：

目前來說沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，根據(jù)實(shí)際需要進(jìn)行處理即可。

形成唯一數(shù)據(jù)：如果要進(jìn)行總體摘要統(tǒng)計(jì)，則需要以某種方式消除沖突以便報(bào)告一個(gè)數(shù)據(jù)。

不消除沖突：而要使用所有沖突的數(shù)據(jù)。如果在進(jìn)行整體流程統(tǒng)計(jì)分析時(shí)使用不同業(yè)務(wù)流程的不同數(shù)據(jù)，則不同的指標(biāo)將具有更好的渠道轉(zhuǎn)換效果。要保證處理后的結(jié)果差異可解釋，且客觀穩(wěn)定。

樣本的選擇

數(shù)據(jù)抽樣還是全量基于已經(jīng)有的數(shù)據(jù)來說，肯定是數(shù)據(jù)越全越好，但是實(shí)際情況并不是那么理想，我們只能利用統(tǒng)計(jì)學(xué)的方法使用抽樣的方式進(jìn)行取樣比較理想。

一般數(shù)據(jù)采樣方法：

抽樣方法通常分為非概率抽樣和概率抽樣。非概率采樣不是基于均等概率原理，而是基于人類的主觀經(jīng)驗(yàn)和狀態(tài)。概率抽樣基于數(shù)學(xué)概率論，而抽樣則基于隨機(jī)性原理。

簡單隨機(jī)抽樣：抽樣方法是根據(jù)等概率原理直接從總數(shù)中抽取n個(gè)樣本。這種隨機(jī)采樣方法簡單易操作；但這并不能保證樣本可以完美地代表總體。此方法適用于均勻分布的場景。

等距采樣：等距采樣是首先對(duì)總體中的每個(gè)個(gè)體進(jìn)行編號(hào)，然后計(jì)算采樣間隔，然后根據(jù)固定的采樣間隔對(duì)個(gè)體進(jìn)行采樣。適用于分布均勻或顯示明顯均勻分布規(guī)律，沒有明顯趨勢或周期性規(guī)律的數(shù)據(jù)。

分層抽樣：分層抽樣是根據(jù)某些特征將所有單個(gè)樣本劃分為幾個(gè)類別，然后從每個(gè)類別中使用隨機(jī)抽樣或等距抽樣來選擇個(gè)體以形成樣本。此方法適用于具有特征（例如屬性和分類邏輯標(biāo)簽）的數(shù)據(jù)。

整群抽樣：整群抽樣是先將所有樣本分成幾個(gè)小組，然后再隨機(jī)抽樣幾個(gè)小組來代表總體。該方法適用于特征差異相對(duì)較小的小組，對(duì)劃分小組的要求更高。

注意的幾個(gè)問題：

數(shù)據(jù)采樣必須反映操作的背景，不存在業(yè)務(wù)隨機(jī)性及業(yè)務(wù)數(shù)據(jù)可行性問題，最重要的數(shù)據(jù)采樣必須滿足數(shù)據(jù)分析和建模的需求

數(shù)據(jù)的共線性

所謂共線性（也稱為多重共線性）問題是指輸入自變量之間的高線性相關(guān)性。共線性問題將大大降低回歸模型的穩(wěn)定性和準(zhǔn)確性。例如具有明顯共線性的數(shù)據(jù)：訪問和頁面瀏覽量；頁面瀏覽量和訪問時(shí)間；訂單數(shù)量和銷售等。

一般產(chǎn)生原因：

數(shù)據(jù)樣本不足，這實(shí)際上反映了缺乏數(shù)據(jù)對(duì)數(shù)據(jù)建模的影響的一部分。

許多變量具有基于時(shí)間的共同或相反的演變趨勢。

多個(gè)變量間存在一定的關(guān)系但是發(fā)生節(jié)點(diǎn)不一致，總體上變量之間的趨勢是一致的。

多個(gè)變量之間存在近似線性關(guān)系。簡單理解為一個(gè)y=ax+b這么一個(gè)關(guān)系。

檢驗(yàn)共線性：共線性通常由公差，方差因子和特征值的特征數(shù)據(jù)確定，做出判斷。

解決共線性的5種常用方法：

增大樣本量：

通過增加樣本消除由于數(shù)據(jù)量不足而出現(xiàn)的偶然共線性現(xiàn)象，也可能無法解決共線性問題，原因是很可能變量間確實(shí)存在這個(gè)問題。

嶺回歸（RidgeRegression）：

嶺回歸分析是專用于共線性問題的有偏估計(jì)回歸方法，本質(zhì)上是一種改進(jìn)的最小二乘估計(jì)方法。

逐步回歸：

一次引入一個(gè)自變量并進(jìn)行統(tǒng)計(jì)檢驗(yàn)，然后逐步引入其他變量，同時(shí)測試所有變量的回歸系數(shù)。

主成分回歸（PrincipalComponentsRegression）：

可以基于主成分進(jìn)行回歸分析在不丟失重要數(shù)據(jù)特征的情況下避免共線性問題。

手動(dòng)刪除：

覺得麻煩的話直接結(jié)合了手動(dòng)經(jīng)驗(yàn)刪了就是了。

完全解決共線性問題是不可能的，因?yàn)樗惺挛镏g都有一定的聯(lián)系。