Python提高運行速度工具之Pandarallel的使用教程

第Python提高運行速度工具之Pandarallel的使用教程目錄1.準備2.使用Pandarallel3.注意事項眾所周知，由于GIL的存在，Python單進程中的所有操作都是在一個CPU核上進行的，所以為了提高運行速度，我們一般會采用多進程的方式。而多進程無非就是以下幾種方案：

multiprocessingconcurrent.futures.ProcessPoolExecutor()joblibppservercelery

這些方案對于普通python玩家來說都不是特別友好，怎樣才能算作一個友好的并行處理方案？

那就是原來的邏輯我基本不用變，僅修改需要計算的那行就能完成我們目標的方案，而pandarallel就是一個這樣友好的工具。

可以看到，在pandarallel的世界里，你只需要替換原有的pandas處理語句就能實現(xiàn)多CPU并行計算。非常方便、非常nice.

在4核CPU的性能測試上，它比原始語句快了接近4倍。測試條件（OS:LinuxUbuntu16.04，Hardware:IntelCorei7@3.40GHz-4cores），這就是我所說的，它把CPU充分利用了起來。

下面就給大家介紹這個模塊怎么用，其實非常簡單，任何代碼只需要加幾行代碼就能實現(xiàn)質的飛躍。

1.準備

開始之前，你要確保Python和pip已經成功安裝在電腦上

pipinstallpandarallel

2.使用Pandarallel

使用前，需要對Pandarallel進行初始化：

frompandarallelimportpandarallel

pandarallel.initialize()

這樣才能調用并行計算的API，不過initialize中有一個重要參數(shù)需要說明，那就是nb_workers，它將指定并行計算的Worker數(shù)，如果沒有設置，所有CPU的核都會用上。

Pandarallel一共支持8種Pandas操作，下面是一個apply方法的例子。

importpandasaspd

importtime

importmath

importnumpyasnp

frompandarallelimportpandarallel

#初始化

pandarallel.initialize()

df_size=int(5e6)

df=pd.DataFrame(dict(a=np.random.randint(1,8,df_size),

b=np.random.rand(df_size)))

deffunc(x):

returnmath.sin(x.a**2)+math.sin(x.b**2)

#正常處理

res=df.apply(func,axis=1)

#并行處理

res_parallel=df.parallel_apply(func,axis=1)

#查看結果是否相同

res.equals(res_parallel)

其他方法使用上也是類似的，在原始的函數(shù)名稱前加上parallel_，比如DataFrame.groupby.apply：

importpandasaspd

importtime

importmath

importnumpyasnp

frompandarallelimportpandarallel

#初始化

pandarallel.initialize()

df_size=int(3e7)

df=pd.DataFrame(dict(a=np.random.randint(1,1000,df_size),

b=np.random.rand(df_size)))

deffunc(df):

dum=0

foritemindf.b:

dum+=math.log10(math.sqrt(math.exp(item**2)))

returndum/len(df.b)

#正常處理

res=df.groupby("a").apply(func)

#并行處理

res_parallel=df.groupby("a").parallel_apply(func)

res.equals(res_parallel)

又比如DataFrame.groupby.rolling.apply：

importpandasaspd

importtime

importmath

importnumpyasnp

frompandarallelimportpandarallel

#初始化

pandarallel.initialize()

df_size=int(1e6)

df=pd.DataFrame(dict(a=np.random.randint(1,300,df_size),

b=np.random.rand(df_size)))

deffunc(x):

returnx.iloc[0]+x.iloc[1]**2+x.iloc[2]**3+x.iloc[3]**4

#正常處理

res=df.groupby('a').b.rolling(4).apply(func,raw=False)

#并行處理

res_parallel=df.groupby('a').b.rolling(4).parallel_apply(func,raw=False)

res.equals(res_parallel)

案例都是類似的，這里就直接列出表格，不浪費大家寶貴的時間去閱讀一些重復的例子了:

3.注意事項

1.我有8個CPU，但parallel_apply只能加快大約4倍的計算速度。為什么？

答：正如我前面所言，Python中每個進程占用一個核，Pandarallel最多只能加快到你所擁有的核心的總數(shù)，一個4核的超線程C