機(jī)器學(xué)習(xí)（ML）和人工智能（AI）是當(dāng)前科技領(lǐng)域最熱門的話題，這兩項(xiàng)技術(shù)都在通過對于底層的優(yōu)化改良進(jìn)而影響人們的生活，而下一次工業(yè)革命很有可能由人工智能點(diǎn)燃。而普通大眾對于AI的認(rèn)識源于智能手機(jī)中內(nèi)置的AI引擎。特別是我們已經(jīng)見識過了AI引擎在使用手機(jī)過程中帶來的提升，如：AI一鍵換天、AI提升語音轉(zhuǎn)文字效率。

當(dāng)手機(jī)AI性能發(fā)展到切實(shí)能夠影響使用體驗(yàn)的時候，AI也成了衡量手機(jī)芯片性能的一部分，AI跑分軟件應(yīng)運(yùn)而生。用戶必然會好奇AI跑分軟件如何實(shí)現(xiàn)對于手機(jī)AI性能的衡量？今天我們就來解釋什么是AI、AI跑分軟件是如何評判手機(jī)AI性能的。

01 手機(jī)上的AI到底是什么？

所謂AI，指的是人工智能，如果將范圍縮小到硬件層面，就是指模擬人類大腦結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)。說白了，就是模擬人的神經(jīng)結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，通過大量的人工神經(jīng)元（數(shù)學(xué)函數(shù)）聯(lián)結(jié)進(jìn)行計(jì)算。不同于傳統(tǒng)邏輯推理，基于大量數(shù)據(jù)統(tǒng)計(jì)的人工神經(jīng)網(wǎng)絡(luò)具有一定的判斷力，在語音識別和圖像識別上特別有優(yōu)勢。

單層神經(jīng)元網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)訓(xùn)練，它在識別圖片的訓(xùn)練過程中會根據(jù)一些特征來記憶并識別物體。如人工神經(jīng)網(wǎng)絡(luò)會因?yàn)樾螤?、顏色等特征來識別圖片中的人臉、貓咪或者建筑。這有些類似人類在幼年時期，根據(jù)動物的特征來做出“這不是馬，是鹿”的判斷。

人工神經(jīng)網(wǎng)絡(luò)最有價值的地方是通過對于數(shù)據(jù)的歸類和分割，從而“推理”出智能化結(jié)果。AI“推理”是人類向整套AI系統(tǒng)提供數(shù)據(jù)并“訓(xùn)練”AI以后的結(jié)果。用戶端最終呈現(xiàn)的AI是經(jīng)過訓(xùn)練后的AI“推理”后的結(jié)果。同理，智能手機(jī)中的AI引擎最主要的作用是AI“推理”，進(jìn)而為用戶提供定制化的使用效果。

需要注意的是，AI運(yùn)算與傳統(tǒng)運(yùn)算的區(qū)別在于，傳統(tǒng)運(yùn)算是需要按照人為算法得到最終的函數(shù)結(jié)果，AI運(yùn)算的過程更為開放，會根據(jù)用戶輸入的數(shù)據(jù)信息依靠人工神經(jīng)元對數(shù)據(jù)信息進(jìn)行識別判斷。因此，手機(jī)AI的評判更為復(fù)雜、繁瑣。

02 手機(jī)AI跑分軟件的測試標(biāo)準(zhǔn)是什么？

為了讓用戶對手機(jī)AI性能有更清晰準(zhǔn)確的認(rèn)識，目前市面上已經(jīng)出現(xiàn)了一些AI跑分軟件，來幫助用戶認(rèn)識到不同機(jī)型的AI性能差異。

目前主流AI跑分軟件主要衡量的是面向移動端圖像分類的ResNet-34和Inception-V3、面向單一目標(biāo)檢測和移動視覺的Mobilenet-SSD，以及面向圖像語義分割的Google DeepLab-v3等。

ResNet-34主要用來測試手機(jī)AI識別圖片的概率高低與用時，來判斷手機(jī)AI的性能。Inception-V3也是類似的評分機(jī)制。這兩項(xiàng)是綜合評判手機(jī)基本的AI性能。剩下的兩項(xiàng)則是考察手機(jī)單項(xiàng)AI性能指標(biāo)。

Mobilenet-SSD

Mobilenet-SSD是一種目標(biāo)檢測算法。特點(diǎn)是速度快、精度高，“目標(biāo)檢測”的意義就是讓AI尋找圖像中的物體，并指出他們在圖像中的位置與種類，這種算法拍攝一次可檢測圖像中的多個對象。

Google DeepLab-V3+

Google DeepLab-V3+原理示意圖

Google DeepLab-V3+是谷歌開源語義分割模型，它可以實(shí)現(xiàn)對于物體的建模。簡單來說，這一項(xiàng)是檢測手機(jī)AI的圖像處理能力。

總結(jié)來說，ResNet-34和Inception-V3是考察手機(jī)芯片的基礎(chǔ)AI能力，Mobilenet-SSD是讓AI尋找圖像中物體的位置與種類，Google DeepLab-V3+則是考驗(yàn)手機(jī)AI的“摳圖”能力。

03 市面主流AI軟件成績該如何理解？

手機(jī)上的AI測試軟件在建立測試標(biāo)準(zhǔn)后需要做兩件事：其一，適配智能手機(jī)所在芯片平臺的SDK（軟件開發(fā)工具包）；其二，支持AI計(jì)算深度學(xué)習(xí)模型中的兩種常用數(shù)據(jù)格式INT8和FP16的運(yùn)算。這里提及了相對專業(yè)的名詞，我們先來解釋下做這兩項(xiàng)的含義。

適配智能手機(jī)所在芯片平臺的SDK

SDK是“Software Development Kit”的縮寫，中文譯為“軟件開發(fā)工具包”，SDK是AI提供商為了開發(fā)者更方便實(shí)現(xiàn)AI功能而準(zhǔn)備的開發(fā)者工具。AI測試軟件支持AI SDK的意義在于更便捷、更準(zhǔn)確測得實(shí)際的AI性能。

高通的AI SDK命名為SNPE

其中，高通的SDK命名為SNPE、聯(lián)發(fā)科的SDK命名為NeuroPilot、海思的SDK命名為HiAI.。..。.AI測試軟件支持的SDK越多，越容易建立統(tǒng)一的AI測試基準(zhǔn)。

支持INT8和FP16的運(yùn)算

INT8和FP16是AI計(jì)算深度學(xué)習(xí)模型中的兩種常用數(shù)據(jù)格式。

INT8指的是8bits表示的數(shù)字，代表的是整數(shù)運(yùn)算。INT8運(yùn)算優(yōu)勢在于計(jì)算速度快，可以通過減少計(jì)算與內(nèi)存帶寬來提升能耗，可以讓手機(jī)在AI運(yùn)算中更為省電，缺點(diǎn)是計(jì)算精度略差。FP16指的是16 bits表示的數(shù)字，代表的是浮點(diǎn)運(yùn)算。FP16運(yùn)算的優(yōu)勢在于更高的計(jì)算精度，缺點(diǎn)是對于手機(jī)電量要求高、硬件需求高、多數(shù)消費(fèi)類應(yīng)用使用不到該級別精度。

INT8和FP16沒有完全的優(yōu)劣之分，手機(jī)端的AI往往會根據(jù)實(shí)際場景的不同來綜合考慮選擇。雖然FP16能提供比較高的精度，但其能效比略差，不適合在手機(jī)這種電池容量有限的設(shè)備上運(yùn)行。而INT8不僅具備能效的優(yōu)勢，其運(yùn)算的效率和精度也在不斷提升。

了解這些后我們再來盤點(diǎn)下市面主流的AI測試軟件：AIMark（魯大師開發(fā)）、AITuTu（安兔兔開發(fā)）和ETH AI Benchmark（即蘇黎世AI跑分應(yīng)用）。

AIMark

AIMark

AIMark的開發(fā)商為魯大師，測試手機(jī)芯片AI性能的基準(zhǔn)分為ResNet-34、Inception-V3、Mobilenet-SSD和DeepLab-V3+四大類模型。其中AIMark的分值取決于手機(jī)AI處理數(shù)據(jù)集和執(zhí)行特定目標(biāo)識別的效率。

開發(fā)商魯大師表示AIMark與ARM、高通，海思、聯(lián)發(fā)科、三星等AI核心SoC產(chǎn)品供應(yīng)商進(jìn)行了測試與調(diào)整，實(shí)現(xiàn)了對于主流手機(jī)AI SDK的支持。同時，魯大師根據(jù)實(shí)際消費(fèi)端的AI使用現(xiàn)狀，將可以滿足主流消費(fèi)應(yīng)用INT8運(yùn)算權(quán)重占比略高。

上圖是AIMark測試中熱門手機(jī)芯片AI性能匯總。其中三星Galaxy S20 Pro和一加8的AI跑分遠(yuǎn)超其他終端，這得益于兩款手機(jī)采用的驍龍865內(nèi)置了比前代平臺更強(qiáng)大的第五代高通人工智能引擎AI Engine。我們來具體看下驍龍865的AI算力來源。

驍龍865的AI算力來源于第五代Qualcomm人工智能引擎AI Engine。第五代AI引擎則由Kryo 585 CPU+Adreno 650 GPU+Hexagon 698張量加速器構(gòu)成，每一部分都有各自的運(yùn)算專長，系統(tǒng)會根據(jù)實(shí)際負(fù)載將需求分配到CPU、GPU和張量加速器上。高通第五代AI Engine的AI算力達(dá)到了15 TOPS，保證高性能與低功耗兼?zhèn)?，滿足移動端的使用需求。

高通第五代AI Engine所提供的15 TOPS的算力與AIMark的實(shí)際跑分相符，也證明了高通AI算力提升所言非虛。

此外，在AIMark中我們不難發(fā)現(xiàn)一個非常有趣的結(jié)果：同樣采用驍龍855平臺的三星Galaxy Note10的AI跑分要遠(yuǎn)高于Pixel 4 XL。這是因?yàn)閮煽钍謾C(jī)在實(shí)現(xiàn)AI能力上采用了不同的SDK，Pixel 4 XL實(shí)現(xiàn)AI算力的方式是接入谷歌為安卓系統(tǒng)準(zhǔn)備的Android神經(jīng)網(wǎng)絡(luò)API（Android NN API），軟件的不同最終導(dǎo)致了兩款手機(jī)實(shí)際AI性能上的差異。

而是否搭配高通的AI SDK所帶來的差距，在高通865上的第五代AI引擎上體現(xiàn)得會更加明顯，這是因?yàn)楦咄槠涞谖宕鶤I引擎進(jìn)行了定制優(yōu)化。專為第五代AI引擎準(zhǔn)備的SDK可以讓AI應(yīng)用開發(fā)者快速簡單地調(diào)用高通第五代AI引擎的最大性能。

此外，高通還為第五代AI引擎準(zhǔn)備了一種深度學(xué)習(xí)帶寬壓縮的技術(shù)，將數(shù)據(jù)量壓縮一半，降低了運(yùn)算能耗。針對處理AI任務(wù)時消耗電能的問題，高通開發(fā)了一項(xiàng)全新的技術(shù)——深度學(xué)習(xí)帶寬壓縮。這還是一項(xiàng)完全無損的壓縮技術(shù)，被壓縮的所有數(shù)據(jù)精度不會有任何損失。

同時，采用高通865的手機(jī)往往會使用最新的LPDDR5高帶寬內(nèi)存相互配合，因此采用驍龍865的手機(jī)登頂AIMark也是情理之中。

AITuTu

AITuTu的開發(fā)商是安兔兔。AITuTu測試手機(jī)芯片AI性能的基準(zhǔn)測試為Inception-V3和Mobilenet-SSD。同時開發(fā)商安兔兔表示，AITuTu通過各廠商提供的SDK將原始神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為廠商所支持的神經(jīng)網(wǎng)絡(luò)，再通過圖片分類、對象識別測試項(xiàng)對處理器AI性能做評定。

AITuTu

AITuTu實(shí)現(xiàn)了對于主流手機(jī)芯片平臺如高通、聯(lián)發(fā)科、海思、三星的SDK支持，測試標(biāo)準(zhǔn)較為統(tǒng)一。同時，AITuTu的AI測試中INT8運(yùn)算權(quán)重略高。

AITuTu的測試結(jié)果顯示，搭載驍龍865的設(shè)備在AI性能上遙遙領(lǐng)先。

ETH AI Benchmark

ETH AI Benchmark，即蘇黎世AI跑分應(yīng)用。目前蘇黎世AI跑分應(yīng)用有v3和v4兩個版本，這兩個版本的跑分會有些許差異。ETH AI Benchmark這款軟件對于手機(jī)AI性能的測試包括對象識別、人臉識別、圖像去模糊等9大測試項(xiàng)，根據(jù)手機(jī)AI識別的速度、準(zhǔn)確率和內(nèi)存要求，最終得出一個體現(xiàn)手機(jī)AI性能的分?jǐn)?shù)。

ETH AI Benchmark

需要注意的是，ETH AI Benchmark和上述兩個平臺測試有差異。首先是ETH AI Benchmark不支持手機(jī)芯片平臺的AI SDK，ETH AI Benchmark支持的是谷歌為安卓準(zhǔn)備的TensorFlow Lite（TFLite）和Android神經(jīng)網(wǎng)絡(luò)API（Android NN API）兩套接口。這會影響到實(shí)際的AI測試結(jié)果。

這是因?yàn)锳ndroid神經(jīng)網(wǎng)絡(luò)API（Android NN API）在使用驍龍芯片的廠商中使用率很低。有數(shù)據(jù)顯示，高通平臺中使用高通SDK的比例高達(dá)94%，而使用Android神經(jīng)網(wǎng)絡(luò)API的比例約為1%。ETH AI Benchmark不支持芯片廠商SDK意味著芯片平臺難以發(fā)揮全部的AI性能，最終結(jié)果和使用結(jié)果存在偏差。

ETH AI Benchmark v3測試權(quán)重，F(xiàn)P16最高

另外，ETH AI Benchmark的FP16運(yùn)算加權(quán)更高，占到了48%，INT8代表的整數(shù)運(yùn)算占比為24%，這也會影響到最終AI測試分?jǐn)?shù)。我們首先看下ETH AI Benchmark v3版的數(shù)據(jù)。

ETH AI Benchmark v3測試數(shù)據(jù)

ETH AI Benchmark v3的測試情況與AIMark和AITuTu不同：麒麟990 5G領(lǐng)先于驍龍865。這是因?yàn)槎梓?90 5G在AI浮點(diǎn)運(yùn)算方面有專屬的AI處理器，因此分?jǐn)?shù)排名有所不同。

我們再來看下ETH AI Benchmark v4版的測試數(shù)據(jù)：其結(jié)果與v3版有所不同，麒麟990 5G的領(lǐng)先幅度較小。

表格中數(shù)字為平均初始化時間（單位為毫秒），數(shù)值越低越好

三款主流的AI測試軟件的測試結(jié)果來看，高通865內(nèi)置的第五代AI引擎在INT8代表的整數(shù)運(yùn)算方面有優(yōu)勢，并通過INT8 AI精度帶來包括語音轉(zhuǎn)文字、語音助手等推薦引擎、相機(jī)圖像識別與處理等優(yōu)質(zhì)的體驗(yàn)。

04 總結(jié)

手機(jī)AI性能的發(fā)展非常迅速，而如何確立評判手機(jī)AI性能的基準(zhǔn)也成了很難的事情，不過當(dāng)前主流的三款A(yù)I測試軟件在一定程度上給我們以啟發(fā)。AIMark和AITuTu的測試結(jié)果取決于INT8性能，而ETH AI Benchmark看中FP16性能。INT8和FP16并無優(yōu)劣之分，但I(xiàn)NT8運(yùn)算因?yàn)榫邆涓玫哪苄П龋襂NT8的AI模型效率和精度也在不斷提升，因此更適合移動端使用。
責(zé)任編輯:pj