pandas數(shù)據(jù)處理清洗實現(xiàn)中文地址拆分案例

第pandas數(shù)據(jù)處理清洗實現(xiàn)中文地址拆分案例目錄一、案例場景二、初步方案三、優(yōu)化方案

一、案例場景

字段login_place，一共267725行記錄,隨機15條記錄如下：

后續(xù)數(shù)據(jù)分析工作需要用到地理維度進行分析，所以需要把login_place字段進行拆分成：國家、省份、地區(qū)。

二、初步方案

第三方中文分詞庫：jieba，可以對文本進行拆分。使用參考資料：jieba庫的使用。

初步方案：

用jieba.cut()將文本拆分為單詞列表list_word;

分支判斷l(xiāng)ist_word長度，賦值國家、城市、地區(qū)。

代碼：（抽取1000條記錄，看一下我這臺機器的運行時間）

%%time

#地區(qū)拆分

foriinrange(1000):

list_word=[wordforwordinjieba.cut(df.iloc[i,0])]

iflen(list_word)==1:

if'中國'indf.iloc[i,0]:

df.loc[i,'國家']=df.iloc[i,0][0:2]

df.loc[i,'省份']=df.iloc[i,0][2:]

else:

df.loc[i,'國家']=df.iloc[i,0]

eliflen(list_word)==2:

df.loc[i,'國家']=list_word[0]

df.loc[i,'省份']=list_word[1]

else:

df.loc[i,'國家']=list_word[0]

df.loc[i,'省份']=list_word[1]

df.loc[i,'地區(qū)']=list_word[2]

ifi%100==0:

print(f'{round(i*100/(int(1000)),2)}%')

1000條用了1min37秒。如果全部進行數(shù)據(jù)解析等待時間應該很久很久。有很多重復的記錄，這里先去重，再跑一次代碼。

去重之后，只有404不重復的記錄。

再跑一遍代碼，并且把結果保存到本地文件‘df_test.xlsx'。便于查看jieba第三方分詞庫對本次數(shù)據(jù)拆分是不是想要的結果。

國家：

‘國家'這一列，中國臺灣沒有拆分出來。

代碼試了一下，發(fā)現(xiàn)‘中國臺灣'確實拆分不了。證實了臺灣確實中國不可缺失的一部分。

省份：

‘省份'這一列拆分的更加糟糕。

總結：總數(shù)據(jù)集運行時間長，切詞不準確。需要優(yōu)化拆分方案！

三、優(yōu)化方案

在上面查看Excel文件時候發(fā)現(xiàn)‘login_place'字段的數(shù)據(jù)有以下特點：

整個數(shù)據(jù)集分類兩類：‘中國'和外國；

中國的省份大多是兩個字，除了‘黑龍江'和‘內(nèi)蒙古'；

外國的，只有國家記錄。

優(yōu)化方案：

對國家判斷，形成分支：中國和外國；

對于中國，再判斷省份是不是‘黑龍江'和‘內(nèi)蒙古'。

不是：可以直接切分[2:4]，提取省份。[4:]，提取地區(qū)；

是：[2:5]提取省份。[5:]提取地區(qū)

%%time

#地區(qū)拆分

foriinrange(df.shape[0]):

if'中國'indf.iloc[i,0]:

df.loc[i,'國家']='中國'

if('內(nèi)蒙古'indf.iloc[i,0])or('黑龍江'indf.iloc[i,0]):

#print(df.iloc[i,0])

df.loc[i,'省份']=df.iloc[i,0][2:5]

iflen(df.iloc[i,0])5:

df.loc[i,'地區(qū)']=df.iloc[i,0][5:]

else:

df.loc[i,'省份']=df.iloc[i,0][2:4]

df.loc[i,'地區(qū)']=df.iloc[i,0][4:]

else:

list_word=[wordforwordinjieba.cut(df.iloc[i,0])]

iflen(list_word)==1:

df.loc[i,'國家']=df.iloc[i,0][0:2]

df.loc[i,'省份']=df.iloc[i,0][2:]

else:

df.loc[i,'國家']=list_word[0]

df.loc[i,'省份']=list_word[1]

ifi%100==0:

print(f'{round(i*100/(int(df.shape[0])),2)}%')

保存Excel文件，再次查看拆分情況。經(jīng)過去重后的測試集拆分符合想要的結果。

運