蓬勃發(fā)展的機(jī)器學(xué)習(xí)和人工智能新興用例有望通過加速信息處理和提高決策準(zhǔn)確性為行業(yè)創(chuàng)造重大價值。但機(jī)器學(xué)習(xí)模型是計算密集型、需要高頻和實(shí)時 AI 分析場景，這導(dǎo)致企業(yè)依賴于使用每秒萬億次操作 (TOPS) 指標(biāo)的性能指導(dǎo)。TOPS 捕捉到“加速器在一秒鐘內(nèi)可以提供多少數(shù)學(xué)運(yùn)算？” 比較和確定給定推理任務(wù)的最佳加速器。

雖然 TOPS 是一個“容易”計算的指標(biāo)，但它通常無法為實(shí)際工作負(fù)載提供可靠的性能指標(biāo)。受限于加速器中乘法器和加法器的數(shù)量，該指標(biāo)無法考慮處理神經(jīng)網(wǎng)絡(luò)模型的計算硬件結(jié)構(gòu)。隨著數(shù)據(jù)網(wǎng)絡(luò)模型更快地處理數(shù)據(jù)，企業(yè)如何通過更快、更可靠的決策進(jìn)行擴(kuò)展，尤其是在邊緣？

在這篇文章中，我們將回顧 TOPS、它在測量延遲方面的挑戰(zhàn)以及它與現(xiàn)實(shí)世界的性能計算有何不同，并提供一種通過基準(zhǔn)測試來計算性能的替代方法，它提供了一種更可靠的方法來解釋計算硬件結(jié)構(gòu)。

TOPS 作為績效衡量標(biāo)準(zhǔn)的現(xiàn)實(shí)

TOPS 是一個簡化指標(biāo)：它告訴您 AI 加速器在一秒鐘內(nèi)可以處理多少計算操作，并且利用率為 100%。本質(zhì)上，它著眼于加速器可以在很短的時間內(nèi)解決多少數(shù)學(xué)運(yùn)算問題。

例如，如果一個 AI 加速器提供 5 TOPS，另一個提供 15 TOPS，則推斷后者比前者快三倍。但是，就像 CPU 速度的兆赫茲和千兆赫茲一樣，TOPS 也失去了確定整體計算機(jī)性能的相關(guān)性。隨著人們對 AI 應(yīng)用的興趣日益濃厚，最新的 AI 加速器可以比簡單的算術(shù)更快地處理數(shù)據(jù)，并且更復(fù)雜。

然而，TOPS 很少準(zhǔn)確地捕捉到 AI 處理器在整個硬件設(shè)備中的重要性。如今，相機(jī)、邊緣服務(wù)器和計算機(jī)中的 AI 處理器通常是決定計算能力和能源效率的關(guān)鍵組件之一。事實(shí)上，TOPS 未能考慮到現(xiàn)實(shí)世界的工作量。通常，由于諸如空閑計算機(jī)單元等待來自內(nèi)存的數(shù)據(jù)、加速器不同部分之間的同步開銷和控制開銷等因素，實(shí)際性能可能會顯著低于 TOPS 值。根據(jù)加速器的架構(gòu)和工作負(fù)載特性，

更高的 TOPS 不等于更高的性能

雖然較高的 TOPS 值可以表示具有更多計算元素的更大 AI 加速器，但現(xiàn)實(shí)情況可能恰恰相反。更高的 TOPS 通常會導(dǎo)致更大的加速器具有更多的計算元素和內(nèi)存塊，以將數(shù)據(jù)饋送到這些計算單元，這會導(dǎo)致更高的成本和功耗。另一方面，高效的加速器使用較少數(shù)量的計算資源提供更高的性能，因此 TOPS 評級較低。最終，理想的 AI 加速器是使用低 TOPS 提供高性能的加速器。

TOPS 不包括所有計算類型

TOPS 指標(biāo)考慮了加速器的乘法器和加法器，這通常會導(dǎo)致性能指標(biāo)不準(zhǔn)確，因為加速器可以擁有除此之外的其他計算資源。例如，Kinara 的架構(gòu)采用歸約樹而不是加法器陣列，從而顯著降低能耗。由于在此計算中未捕獲歸約樹的計算能力，TOPS 指標(biāo)將不夠準(zhǔn)確。ResNet50、MobileNet V1 和 YOLO_v3 等標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)在比較不同的加速器時非常有用，因為它們也可以用作“猜測”給定加速器是否能夠滿足開發(fā)人員自身工作負(fù)載需求的代理。

推理延遲是評估 AI 加速器性能的指標(biāo)

對于在 Edge AI 上進(jìn)行投資的企業(yè)，通過基準(zhǔn)測試計算性能提供了一種可靠的方法來計算計算硬件結(jié)構(gòu)與 TOPS。由于大多數(shù)實(shí)際應(yīng)用程序需要極快的推理時間，因此衡量性能的最佳方法是運(yùn)行特定的工作負(fù)載，通常是 ResNet-50、EfficientDet、Transformer 或自定義模型，以了解加速器的效率。使用不同類型、大小、拓?fù)浜洼斎敕直媛实木W(wǎng)絡(luò)進(jìn)行實(shí)時處理，可以得出推理延遲度量。該指標(biāo)計算加速器完成一個特定 AI 模型的干擾的執(zhí)行時間。

隨著 AI 工作負(fù)載及其支持計算架構(gòu)的發(fā)展，通過準(zhǔn)確的性能測量確保其可預(yù)測性具有重大影響，可以引導(dǎo)開發(fā)人員做出更優(yōu)化的決策。通過使用推理延遲計算，它有助于處理和預(yù)測現(xiàn)代 AI 工作負(fù)載中的數(shù)據(jù)流，即使這些工作負(fù)載碎片化并且新架構(gòu)的發(fā)展導(dǎo)致更多的不可預(yù)測性。最終，基準(zhǔn)測試應(yīng)用程序提供了一種可信且更可靠的 TOPS 替代方案，而 AI 加速器支持更有效的評估。

審核編輯 黃昊宇