開(kāi)篇

python語(yǔ)言被廣泛用于數(shù)據(jù)分析和機(jī)器學(xué)習(xí)。但是，由于python的底層特性，python的運(yùn)行速率低一直被廣泛詬病。其中，numpy和pandas的廣泛使用已經(jīng)將數(shù)據(jù)處理和機(jī)器學(xué)習(xí)的速率提升了幾個(gè)檔次。

但是，隨著數(shù)據(jù)的越來(lái)越多，很多人已經(jīng)不再滿足numpy和pandas的速度，從而退出了一批加速優(yōu)化拓展包。這篇文章主要介紹一個(gè)輕量、但是功能強(qiáng)大的python擴(kuò)展包 ”NumExpr"，看看它是如何高效解析數(shù)學(xué)公式的。

NumExpr

NumExpr的使用及其簡(jiǎn)單，只需要將原來(lái)的numpy語(yǔ)句使用雙引號(hào)框起來(lái)，并使用numexpr中的evaluate方法調(diào)用即可。

第一步：需要引入 numexpr 和 numpy 擴(kuò)展包；

/`import numexpr as ne

import numpy as np/`

第二步：創(chuàng)建兩個(gè)numpy的array - a 和 b；

a和b兩個(gè)所包含的數(shù)據(jù)個(gè)數(shù)為100萬(wàn)個(gè)。

當(dāng)我們需要執(zhí)行簡(jiǎn)單的加減乘除的時(shí)候，numexpr的效率已經(jīng)得到了很好地體現(xiàn)，通過(guò)執(zhí)行 2 * a + 3 * b，如果直接操作，需要3.39 毫秒。但是，如果我們是用ne.evaluate加速，可以將時(shí)間縮短至1.55 毫秒。

numexpr在更加復(fù)雜的數(shù)學(xué)表達(dá)式運(yùn)算中，表現(xiàn)到底如何呢？

當(dāng)我們使用如上所示的數(shù)學(xué)表達(dá)式，正常執(zhí)行需要28.3 ms。而通過(guò)numexpr的加速，只需要3.03 ms。

注意，numexpr是可以識(shí)別 sin 函數(shù)的，所以我們不需要在evaluate里面寫np.sin，可以直接寫 sin。

總結(jié)：處理數(shù)據(jù)量越大，數(shù)學(xué)計(jì)算越復(fù)雜，則numexpr的加速效果越明顯。



numpy 和 numexpr 比較

我們可以看到，當(dāng)np.array的元素個(gè)數(shù)超過(guò)10e8，加速效果更加顯著。

numexpr也支持邏輯表達(dá)式和復(fù)數(shù)表達(dá)式的加速，有興趣的讀者朋友可以自行比較。

numexpr 多線程加速

numexpr還有一個(gè)重要的加速利器，多線程操作。通過(guò) ne.set/_num/_threads(1) 可以設(shè)置線程的數(shù)量，更多的線程表示程序可以同時(shí)對(duì)數(shù)學(xué)表達(dá)式進(jìn)行計(jì)算。

如上所示，如果我們?cè)O(shè)置單線程，程序運(yùn)行需要13.4 ms。設(shè)置了雙線程，速度則可以提升一倍。

numexpr對(duì)pandas的加速
numexpr的設(shè)計(jì)主要針對(duì)的是numpy。同樣的，我們知道pandas也是基于numpy開(kāi)發(fā)的。自然，numexpr同樣可以被用來(lái)對(duì)pandas加速。

pandas中有一個(gè)eval方法就是運(yùn)用了numexpr，對(duì)pandas代碼進(jìn)行優(yōu)化加速。

當(dāng)我們構(gòu)建幾個(gè)pandas的dataframe，然后對(duì)它們進(jìn)行運(yùn)算的時(shí)候，pd.eval 可以將程序從原先的47.4 ms 加速到17.6 ms。

總結(jié)

通過(guò)以上的實(shí)例，numexpr對(duì)于numpy和pandas的加速是很顯著的，尤其當(dāng)數(shù)據(jù)量比較大和計(jì)算比較復(fù)雜的情況下。同時(shí)，numexpr的使用非常簡(jiǎn)單。但是，我們需要注意的是，任何加速工具都會(huì)有局限性的，并不是所有的工作都可以使用numexpr進(jìn)行加速。

審核編輯 黃昊宇