2024年毫無疑問是大模型應用落地元年，面對靈活多變的任務和復雜的場景環(huán)境，用邊緣AI打造低成本、高效能、強落地的大模型應用是關(guān)鍵。

2024慕尼黑上海電子展在上海隆重開幕。在首日的“2024算力技術(shù)創(chuàng)新發(fā)展生態(tài)大會”上，云天勵飛受邀發(fā)表主題演講，全面系統(tǒng)地介紹了公司以邊緣AI作為推動大模型產(chǎn)業(yè)規(guī)?；瘧玫那腥朦c，圍繞國產(chǎn)邊緣AI芯片在架構(gòu)和技術(shù)上進行的創(chuàng)新和探索。

技術(shù)平臺如何打造?應用驅(qū)動是關(guān)鍵

科技創(chuàng)新日新月異，但技術(shù)發(fā)展與迭代若沒有應用落地和使用場景的支撐，就像無本之木沒有根基。云天勵飛深入場景落地、沉淀技術(shù)平臺，在公共安全、城市治理、智慧交通、人居生活等行業(yè)落地多個標桿案例，同時率先提出“1+1+N”自進化城市智能體的實踐框架。

在此過程中，云天勵飛堅持自主研發(fā)芯片，沉淀 “算法芯片化” 的核心能力。這里的“算法芯片化”并不是簡單的“算法+芯片”，而是基于對場景的理解，對應用中關(guān)鍵計算負載——算法的量化分析，將芯片設計者的理念、思想與算法相融合的方法論和芯片設計流程，它能夠讓AI芯片在實際應用中發(fā)揮更優(yōu)的效果。

在算法層面，云天勵飛構(gòu)建了應用落地驅(qū)動的算法平臺，開發(fā)了“云天天書”大模型。

在神經(jīng)網(wǎng)絡處理器和芯片層面，云天勵飛通過自定義指令集、處理器架構(gòu)以及工具鏈的協(xié)同設計，構(gòu)建了算法驅(qū)動的神經(jīng)網(wǎng)絡處理器平臺和面向邊緣AI的芯片平臺，完成了四代神經(jīng)網(wǎng)絡處理器架構(gòu)的技術(shù)迭代，自主研發(fā)了三代邊緣AI芯片，并陸續(xù)投入商用。

推動大模型規(guī)?；涞?邊緣AI是關(guān)鍵

隨著人工智能進入大模型時代，多模態(tài)模型和具身多模態(tài)模型成為人工智能重要的技術(shù)方向。同時，在大模型產(chǎn)業(yè)規(guī)?；瘧寐涞氐尿?qū)動下，算力需求也從云側(cè)向邊緣側(cè)和終端擴展。

在大模型領(lǐng)域，“云天天書”大模型采用通用大模型、行業(yè)大模型、場景大模型的三層架構(gòu)設計，包含了語言大模型、視覺大模型、多模態(tài)大模型等不同系列，能提供十億、百億、千億級參數(shù)量的多尺寸大模型，實現(xiàn)對多個行業(yè)賦能，并支持各類場景的快速部署。

通過首創(chuàng)的SPACE高性能推理引擎，可以在保證精度的同時，實現(xiàn)更高并發(fā)、更快推理、更低成本的行業(yè)應用方案。云天勵發(fā)構(gòu)建了完備的大模型安全體系，“云天天書”大模型也已正式通過中央網(wǎng)信辦備案。

通過可微調(diào)的場景大模型的多種能力，云天勵飛打造了具有專業(yè)領(lǐng)域知識的智能體，實現(xiàn)公共安全、智慧政務、城市治理、智慧交通、AI教育等多個行業(yè)的智能應用賦能。

為邊緣AI筑牢算力底座 芯片創(chuàng)新是關(guān)鍵

云天勵飛大模型的行業(yè)應用落地實踐中，發(fā)現(xiàn)推理微調(diào)算力需求將超過通用訓練算力的需求，“云邊端”的混合協(xié)同部署將成為趨勢，同時由于專用推理微調(diào)硬件的價格優(yōu)勢和能效優(yōu)勢，邊緣的專用推理微調(diào)芯片將有廣闊市場空間。云天勵飛以終為始，將邊緣推理微調(diào)作為芯片創(chuàng)新的切入點。

從N個場景、N套算法，到N個場景、1套算法，從“教了才會”到無師自通，從硬件、軟件、人力的大量投入到0成本調(diào)用，支撐“云天天書”大模型在多個行業(yè)快速落地應用，推理微調(diào)芯片功不可沒。云天勵飛DeepEdge10系列芯片，正是這樣的存在。

DeepEdge10系列芯片基于國產(chǎn)先進工藝，集成了自研神經(jīng)網(wǎng)絡處理器NNP400T，不僅采用了高集成度的 SoC 主控級設計，還在國內(nèi)首創(chuàng)采用 Die-to-Die 高速互聯(lián)架構(gòu)和 Chiplet 先進封裝設計，實現(xiàn)了片內(nèi)算力的靈活拓展。同時，還支持基于 Chip-to-Chip 組網(wǎng)互聯(lián)進行系統(tǒng)擴展，可滿足千億級參數(shù)大模型的邊緣微調(diào)部署需求。

通過架構(gòu)創(chuàng)新，DeepEdge10系列芯片實現(xiàn)了純國產(chǎn)芯片在邊緣AI場景的突圍，賦能邊緣全場景的智能應用，推動大模型場景的規(guī)?；涞?。

目前，針對不同邊緣應用場景，云天勵飛正式推出支持多種算力性能和多種內(nèi)存容量配置的DeepEdge10系列芯片，賦能大模型規(guī)模化應用落地，促進中國人工智能高質(zhì)量發(fā)展，云天勵飛期待和各個行業(yè)的生態(tài)伙伴共同努力。