Kinara公司發(fā)布首款A(yù)ra-2邊緣AI處理器，該產(chǎn)品可為邊緣服務(wù)器及個(gè)人電腦提供性能優(yōu)越、性價(jià)比高且節(jié)能的推理支持，適用范圍廣泛，如視頻分析、大規(guī)模語言模型（LLM）和其他各類AI模型。

針對AI模型發(fā)展趨勢所適用的Transformer架構(gòu)模型，Ara-2同樣表現(xiàn)出色。配備有多種新穎特性，性能穩(wěn)定且高達(dá)初代Ara-1處理器的5至8倍以上，兼具高速應(yīng)答和高吞吐量特質(zhì)。其獨(dú)特的片上存儲器設(shè)計(jì)以及極高的片外帶寬可大大降低性能延遲。

雖然生成式AI應(yīng)用日趨盛行，但大部分應(yīng)用仍依賴GPU在數(shù)據(jù)中心運(yùn)行，存在著延遲高、成本大、隱私泄漏等諸多風(fēng)險(xiǎn)。為了解決此類問題，Ara-2處理器支持生成式AI模型所需要的大量參數(shù)，有效減少了向邊緣遷移的難度。同時(shí)，Ara-2的計(jì)算引擎和相應(yīng)的軟件開發(fā)包（SDK）特別設(shè)計(jì)支持高精度量化、可動態(tài)調(diào)整的主機(jī)運(yùn)行時(shí)以及對FP32的直接支持，不僅可無縫指導(dǎo)用戶從昂貴的GPU轉(zhuǎn)移到各種AI模型，也保證了計(jì)算效能的最大化利用。

“隨著Ara-2處理器的推出，我們能夠更為全面地滿足不同用戶對性能與成本的需求。之前，適用于智能相機(jī)或擁有2至8路視頻流的邊緣AI設(shè)備的Ara-1就已深受好評；如今，升級版的Ara-2則更適應(yīng)于處理承擔(dān)16至32路甚至更多視頻流輸入的邊緣服務(wù)器或是筆記本電腦，同樣對于高端相機(jī)也能輕松應(yīng)對?！盞inara首席執(zhí)行官Ravi Annavajjhala表示。他進(jìn)一步補(bǔ)充，“憑借其卓越的計(jì)算引擎，Ara-2能夠快速處理高分辨率圖像，準(zhǔn)確度大幅提升，進(jìn)而實(shí)現(xiàn)更理想的對象檢測、識別和跟蹤效果。此外，以場景式AI為例，Ara-2在運(yùn)行Stable Diffusion時(shí)僅需10秒即可生產(chǎn)一幅圖像，而在處理LLaMA-7B模型時(shí)，其速度最快可達(dá)每秒生產(chǎn)數(shù)十個(gè)token?！?/p>

今年10月份，Ampere宣布接納Kinara加入其人工智能平臺聯(lián)盟。此舉旨在降低系統(tǒng)復(fù)雜程度，推動人工智能領(lǐng)域的協(xié)同合作與創(chuàng)新，以提供總體性能超越GPU、具有更高功耗和成本效益的全新范式。Ampere的首席布道師Sean Varley對此表示贊賞，認(rèn)為“Kinara的Ara-2性能強(qiáng)大，功能豐富，這無疑是朝著實(shí)現(xiàn)比現(xiàn)階段基于GPU的AI解決方案更為優(yōu)秀的道路上邁進(jìn)了堅(jiān)實(shí)的一步?！?/p>

除此之外，Ara-2邊緣AI處理器還兼容安全啟動、加密內(nèi)存訪問和安全主機(jī)接口等多項(xiàng)安全技術(shù)，為企業(yè)AI部署提供最強(qiáng)防護(hù)措施。Kinara還提供全方位的SDK支持，包括模型編譯工具、計(jì)算單元調(diào)度程序、靈活的量化選項(xiàng)以及對PyTorch和TFLite預(yù)量化模型的可靠支持、可進(jìn)行多芯片負(fù)載均衡的系統(tǒng)以及動態(tài)調(diào)整的主機(jī)。

目前，Ara-2已可采取多種形態(tài)呈現(xiàn)，包括獨(dú)立設(shè)備、USB模塊、M.2模塊以及具有多顆Ara-2處理器的PCIe卡等。據(jù)了解，Kinara將在即將到來的CES展會上為大家呈獻(xiàn)Ara-2的精彩現(xiàn)場演示。