電子發(fā)燒友網報道(文/李彎彎)近些年AI模型的應用場景飛速擴展,包括自動駕駛、智慧城市、教育、醫(yī)療、金融等等,行業(yè)的多樣性和應用場景的分散,使得AI模型爆炸式增長。
在日前某論壇上,商湯科技聯(lián)合創(chuàng)始人兼大裝置首席科學家林大華談到,商湯科技每年要生產幾萬個AI模型,然而模型豐富,算子的長尾效應也很明顯,10% 經典算子雖然占據(jù)90% AI芯片算力,而90%長尾算子卻占據(jù)大量計算時間。
多元化的應用催生了多樣的算法框架,算法支持應用,而算法框架是將算法用于解決實際問題,助力AI芯片算力價值體現(xiàn),充當AI芯片與應用的橋梁。
比如說算法就是諸如LR、GBDT、DNN、DeepFM這樣的實際解決某個數(shù)學問題的公式實現(xiàn)。算法框架可以讓算法執(zhí)行更高效,比如最早玩深度學習的人都用Theano,基于Theano去開發(fā)算法很困難,后來有了PyTorch和TensorFlow,讓基于深度學習的算法開發(fā)更方便。
目前算法框架已經非常豐富,包括PyTorch、TensorFlow,還有商湯科技開源的Sense Parrots,華為開源的昇思MindSpore,百度飛槳PaddlePaddle等等。
算法工程師其實是基于算法框架開發(fā)AI算法的,也就是說深度學習框架銜接起了硬件芯片算力和上面AI算法應用,然而AI訓練框架逐漸豐富,但未形成統(tǒng)一的芯片接口,這使得AI訓練芯片對框架逐一適配的成本高昂,這也阻礙了AI芯片在市場應用上的快速迭代。
為此,商湯科技希望基于已經開源開放的算法體系,構建統(tǒng)一的接口,把大家協(xié)同在一起,在軟件層面,在算法的結構分解出一些標準算子,表明哪些算子在哪些應用場景中最為重要,這樣可以讓大家能夠把有限的適配資源,投放到更有用的地方。
商湯給出的軟件解決方案包括了算法分級體系和標準算子接口體系。據(jù)林大華介紹,算法分級體系首先是從影響力、性能、部署特性三個維度,即算法模型在學術界和工業(yè)界的影響力,算法模型的精度和速度,以及算法模型的部署友好性,將AI算法進行分級,這樣可以給出方向性的應用參考。
接著是卷積輸入配置頻率統(tǒng)計,每個算法模型在實際訓練中存在不同的卷積輸入?yún)?shù)配置,不同參數(shù)配置的卷積算子使用頻率存在較大的差異。
再得出高優(yōu)Spec優(yōu)化清單,從算法模型優(yōu)先級評估+模型卷積輸入配置頻率,得到模型重要性和卷積輸入配置頻率加權評分,再得到高優(yōu)Spec優(yōu)化清單,芯片廠商可參考優(yōu)化的清單進行針對性優(yōu)化。
總之,基于算法分級體系的算子優(yōu)化方法可以助力挖掘高優(yōu)Spec,確認常用卷積輸入配置優(yōu)化優(yōu)先級,提高芯片廠商適配能效。
長尾算子在實際應用中占比非常高,但卻不在標準算法庫里面,因此需要建立標準算子接口來提升芯片和框架的適配。
標準算子接口體系,包括統(tǒng)一算子接口及函數(shù)簽名和一致性測試套件。主要特點是,不依賴具體的框架和芯片,邏輯簡單、易閱讀、易擴展,與標準接口定義保持一致,具有可移植性和強適用性,提供一致性的錯誤處理機制,支持主流開發(fā)框架和應用模型。
傳統(tǒng)芯片和框架適配流程,存在這樣的問題:1、廠商合作前溝通成本高;2、適配工作量難度高,風險難以控制;3、適配案例和經驗難以復用到其它芯片和框架適配場景中。而接入標準算子接口體系的芯片和框架適配流程,有幾個優(yōu)點:1、廠商合作前沒有額外溝通成本;2、工作量小、難度低,風險可控;3、一次接入即可完成對主流芯片、框架適配場景的支持。
整體而言,近些年AI產業(yè)在芯片算力、算法、框架,以及應用方面都有很大的進步,然而如果AI產業(yè)要長期健康的發(fā)展,還需要上下游機構、廠商一起,攜手合作構建出一個繁榮的生態(tài),這中間的算法框架在連接起底層芯片和上層業(yè)務方面,承擔著重要責任。
在日前某論壇上,商湯科技聯(lián)合創(chuàng)始人兼大裝置首席科學家林大華談到,商湯科技每年要生產幾萬個AI模型,然而模型豐富,算子的長尾效應也很明顯,10% 經典算子雖然占據(jù)90% AI芯片算力,而90%長尾算子卻占據(jù)大量計算時間。
多元化的應用催生了多樣的算法框架,算法支持應用,而算法框架是將算法用于解決實際問題,助力AI芯片算力價值體現(xiàn),充當AI芯片與應用的橋梁。
比如說算法就是諸如LR、GBDT、DNN、DeepFM這樣的實際解決某個數(shù)學問題的公式實現(xiàn)。算法框架可以讓算法執(zhí)行更高效,比如最早玩深度學習的人都用Theano,基于Theano去開發(fā)算法很困難,后來有了PyTorch和TensorFlow,讓基于深度學習的算法開發(fā)更方便。
目前算法框架已經非常豐富,包括PyTorch、TensorFlow,還有商湯科技開源的Sense Parrots,華為開源的昇思MindSpore,百度飛槳PaddlePaddle等等。

算法工程師其實是基于算法框架開發(fā)AI算法的,也就是說深度學習框架銜接起了硬件芯片算力和上面AI算法應用,然而AI訓練框架逐漸豐富,但未形成統(tǒng)一的芯片接口,這使得AI訓練芯片對框架逐一適配的成本高昂,這也阻礙了AI芯片在市場應用上的快速迭代。

為此,商湯科技希望基于已經開源開放的算法體系,構建統(tǒng)一的接口,把大家協(xié)同在一起,在軟件層面,在算法的結構分解出一些標準算子,表明哪些算子在哪些應用場景中最為重要,這樣可以讓大家能夠把有限的適配資源,投放到更有用的地方。
商湯給出的軟件解決方案包括了算法分級體系和標準算子接口體系。據(jù)林大華介紹,算法分級體系首先是從影響力、性能、部署特性三個維度,即算法模型在學術界和工業(yè)界的影響力,算法模型的精度和速度,以及算法模型的部署友好性,將AI算法進行分級,這樣可以給出方向性的應用參考。
接著是卷積輸入配置頻率統(tǒng)計,每個算法模型在實際訓練中存在不同的卷積輸入?yún)?shù)配置,不同參數(shù)配置的卷積算子使用頻率存在較大的差異。
再得出高優(yōu)Spec優(yōu)化清單,從算法模型優(yōu)先級評估+模型卷積輸入配置頻率,得到模型重要性和卷積輸入配置頻率加權評分,再得到高優(yōu)Spec優(yōu)化清單,芯片廠商可參考優(yōu)化的清單進行針對性優(yōu)化。
總之,基于算法分級體系的算子優(yōu)化方法可以助力挖掘高優(yōu)Spec,確認常用卷積輸入配置優(yōu)化優(yōu)先級,提高芯片廠商適配能效。

長尾算子在實際應用中占比非常高,但卻不在標準算法庫里面,因此需要建立標準算子接口來提升芯片和框架的適配。
標準算子接口體系,包括統(tǒng)一算子接口及函數(shù)簽名和一致性測試套件。主要特點是,不依賴具體的框架和芯片,邏輯簡單、易閱讀、易擴展,與標準接口定義保持一致,具有可移植性和強適用性,提供一致性的錯誤處理機制,支持主流開發(fā)框架和應用模型。

傳統(tǒng)芯片和框架適配流程,存在這樣的問題:1、廠商合作前溝通成本高;2、適配工作量難度高,風險難以控制;3、適配案例和經驗難以復用到其它芯片和框架適配場景中。而接入標準算子接口體系的芯片和框架適配流程,有幾個優(yōu)點:1、廠商合作前沒有額外溝通成本;2、工作量小、難度低,風險可控;3、一次接入即可完成對主流芯片、框架適配場景的支持。
整體而言,近些年AI產業(yè)在芯片算力、算法、框架,以及應用方面都有很大的進步,然而如果AI產業(yè)要長期健康的發(fā)展,還需要上下游機構、廠商一起,攜手合作構建出一個繁榮的生態(tài),這中間的算法框架在連接起底層芯片和上層業(yè)務方面,承擔著重要責任。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
AI芯片
+關注
關注
17文章
2077瀏覽量
36593 -
AI算法
+關注
關注
0文章
270瀏覽量
13066
發(fā)布評論請先 登錄
相關推薦
熱點推薦
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片到AGI芯片
、現(xiàn)階段更智能、更接近AGI的6中算法與模型
1、MoE模型
MoE模型作為Transfomer模型的后繼者,代表著AI技術的一項重大創(chuàng)新和發(fā)展。
優(yōu)勢:
在于能處理龐大的參數(shù)規(guī)模,顯著減少內存占用
發(fā)表于 09-18 15:31
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學應用
主要步驟:
①溯因②假說③實驗
1、科學推理的類型
①演繹②歸納
2、自動化科學發(fā)現(xiàn)框架
AI-笛卡兒-----自動化科學發(fā)現(xiàn)框架,利用數(shù)據(jù)和知識來生成和評估候選的科學假說。
4項規(guī)則:三、直覺
發(fā)表于 09-17 11:45
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片的需求和挑戰(zhàn)
的工作嗎?
從書中也了解到了AI芯片都有哪些?像CPU、GPU、FPGA、ASIC都是AI芯片。
其他的還是知道的,F(xiàn)PGA屬于AI
發(fā)表于 09-12 16:07
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+可期之變:從AI硬件到AI濕件
的不同。隨著AI熱潮的興起,大腦的抽象模型已被提煉成各種的AI算法,并使用半導體芯片技術加以實現(xiàn)。
而大腦是一個由無數(shù)神經元通過突觸連接而成的復雜網絡,是極其復雜和精密的。大腦在本質上
發(fā)表于 09-06 19:12
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+內容總覽
,其中第一章是概論,主要介紹大模型浪潮下AI芯片的需求與挑戰(zhàn)。第二章和第三章分別介紹實現(xiàn)深度學習AI芯片的創(chuàng)新方法和架構。以及一些新型的算法
發(fā)表于 09-05 15:10
AI 芯片浪潮下,職場晉升新契機?
芯片設計為例,從最初的架構選型,到算法適配、性能優(yōu)化,每個環(huán)節(jié)都考驗著工程師的專業(yè)素養(yǎng)。在設計一款面向智能安防領域的 AI 芯片時,需要深入研究安防場景下圖像識別
發(fā)表于 08-19 08:58
【書籍評測活動NO.64】AI芯片,從過去走向未來:《AI芯片:科技探索與AGI愿景》
到AGI,一起來探索AI芯片
本書從創(chuàng)新視角出發(fā),系統(tǒng)梳理了AI芯片的前沿技術與未來方向,串聯(lián)起從算法到系統(tǒng)的實現(xiàn)路徑,全景式展現(xiàn)
發(fā)表于 07-28 13:54
AlphaEvolve有望革新AI玩具芯片設計,算法進化驅動能效與成本雙突破
電子發(fā)燒友網綜合報道,近期,谷歌?DeepMind發(fā)布了一款AlphaEvolve,是一款通用科學AI代理,基于大語言模型Gemini系列與進化計算框架,專注于算法發(fā)現(xiàn)與優(yōu)化。可以支持數(shù)百行代碼
Deepseek海思SD3403邊緣計算AI產品系統(tǒng)
海思SD3403邊緣計算AI框架,提供了一套開放式AI訓練產品工具包,解決客戶低成本AI系統(tǒng),針對差異化AI
應用場景,自己采集樣本數(shù)據(jù),進
發(fā)表于 04-28 11:05
AI算法托管平臺是什么
AI算法托管平臺是一種提供AI模型運行、管理和優(yōu)化等服務的云端或邊緣計算平臺。下面,AI部落小編帶您詳細了解AI
《AI Agent 應用與項目實戰(zhàn)》閱讀心得2——客服機器人、AutoGen框架 、生成式代理
,斯坦福小鎮(zhèn)是一個非常有有意思的項目。生成式智能體作為AI領域的革命性突破,向我們揭示了計算機模擬人類行為的無限可能。憑借其創(chuàng)新的技術架構與精密的算法設計,這些智能體能夠在虛擬環(huán)境中栩栩如生地生活與交互
發(fā)表于 02-25 21:59
AI商業(yè)應用平臺的特點
AI商業(yè)應用平臺集成了自然語言處理、機器學習、深度學習等前沿的人工智能技術。以下,是對AI商業(yè)應用平臺特點的整理,由AI部落小編整理。
AI賦能邊緣網關:開啟智能時代的新藍海
的引入徹底改變了這一局面。通過在邊緣網關集成AI芯片和算法模型,使其具備了實時數(shù)據(jù)分析、智能決策和自主控制能力。在工業(yè)質檢場景中,搭載AI算法
發(fā)表于 02-15 11:41
涂鴉Wukong AI硬件開發(fā)框架超強兼容DeepSeek等大模型,助你打造爆款AI硬件
一、什么是“Wukong”?涂鴉全新推出的“Wukong”AI硬件開發(fā)框架,是為實現(xiàn)AI硬件領域的商業(yè)化而專門開發(fā)設計的創(chuàng)新平臺。它基于TuyaOS所構建,繼承了諸多優(yōu)勢,如跨平臺兼容
AI開發(fā)框架集成介紹
隨著AI應用的廣泛深入,單一框架往往難以滿足多樣化的需求,因此,AI開發(fā)框架的集成成為了提升開發(fā)效率、促進技術創(chuàng)新的關鍵路徑。以下,是對AI

算法框架是AI芯片與商業(yè)應用的橋梁
評論