最近總聽(tīng)到"端側(cè)大模型"這個(gè)詞，感覺(jué)很高大上，但到底是什么意思？和我們平時(shí)用的ChatGPT、DeepSeek各種大模型有什么區(qū)別？今天就來(lái)徹底搞清楚這件事。

1、為什么叫"端側(cè)"大模型？

在聊具體內(nèi)容之前，先解釋一下這個(gè)名字的由來(lái)。在計(jì)算機(jī)和通信領(lǐng)域，我們通常把整個(gè)系統(tǒng)分為幾個(gè)層次：

• 云端（Cloud）：遠(yuǎn)程的數(shù)據(jù)中心和服務(wù)器
• 邊緣（Edge）：靠近用戶的邊緣服務(wù)器和基站
• 端側(cè)（Device/Client）：用戶直接使用的終端設(shè)備

所以"端側(cè)大模型"這個(gè)名字，直接點(diǎn)出了它的核心特征：運(yùn)行在終端設(shè)備上的大語(yǔ)言模型。在英文里，通常叫做"On-Device Large Language Model"或者"Edge AI Model"。為什么不叫"本地大模型"或者"離線大模型"？因?yàn)?端側(cè)"這個(gè)詞更準(zhǔn)確地描述了它在整個(gè)計(jì)算架構(gòu)中的位置，也暗示了它可能與邊緣和云端進(jìn)行協(xié)同工作，而不是完全孤立運(yùn)行。

2、先說(shuō)說(shuō)什么是端側(cè)大模型

簡(jiǎn)單來(lái)說(shuō)，端側(cè)大模型就是能夠在你的手機(jī)、電腦、汽車這些"端設(shè)備"上直接運(yùn)行的大語(yǔ)言模型，不需要聯(lián)網(wǎng)到云端服務(wù)器。你想想平時(shí)用ChatGPT的場(chǎng)景：打開(kāi)網(wǎng)頁(yè)或APP，輸入問(wèn)題，等待幾秒鐘，然后得到回答。這個(gè)過(guò)程中，你的問(wèn)題被發(fā)送到了OpenAI的服務(wù)器，在云端的大型GPU集群上處理，然后把結(jié)果傳回給你。而端側(cè)大模型呢？整個(gè)AI模型就"住"在你的設(shè)備里，不用聯(lián)網(wǎng)，直接在本地處理你的問(wèn)題。就像以前我們把軟件安裝在電腦上一樣，現(xiàn)在我們把AI"安裝"在設(shè)備上。

3、為什么突然火起來(lái)了？

云端模型的三大痛點(diǎn)1. 網(wǎng)絡(luò)依賴癥
沒(méi)有網(wǎng)絡(luò)就廢了，網(wǎng)絡(luò)不好就卡得要死。你在地下室、飛機(jī)上、山區(qū)里想用AI？抱歉，臣妾做不到。2. 隱私擔(dān)憂
你的聊天記錄、文檔內(nèi)容都要上傳到云端處理，萬(wàn)一泄露怎么辦？特別是涉及商業(yè)機(jī)密、個(gè)人隱私的內(nèi)容，很多用戶心里都犯嘀咕。3. 個(gè)性化不足
云端模型要服務(wù)全球用戶，很難針對(duì)你個(gè)人的使用習(xí)慣和需求進(jìn)行深度定制。就像一個(gè)大眾化的產(chǎn)品，很難滿足每個(gè)人的個(gè)性化需求。硬件技術(shù)的突飛猛進(jìn)另一方面，我們的設(shè)備越來(lái)越強(qiáng)大了：

• 手機(jī)芯片的AI算力提升了幾十倍
• 內(nèi)存容量越來(lái)越大
• 專門的AI芯片開(kāi)始普及

這就給端側(cè)部署大模型提供了可能性。

4、端側(cè)大模型的"超能力"

端側(cè)大模型確實(shí)有著令人興奮的"超能力"。首先是閃電般的響應(yīng)速度，不用等網(wǎng)絡(luò)傳輸，本地直接處理，響應(yīng)速度可以快到毫秒級(jí)，想象一下你說(shuō)話的同時(shí)AI就開(kāi)始實(shí)時(shí)翻譯的絲滑體驗(yàn)。其次是天然的隱私保護(hù)，數(shù)據(jù)不出設(shè)備，你的聊天記錄、工作文檔都在本地處理，不用擔(dān)心被窺探。更重要的是個(gè)性化定制能力，可以根據(jù)你的使用習(xí)慣、語(yǔ)言偏好、專業(yè)領(lǐng)域進(jìn)行定制訓(xùn)練，真正成為專屬AI助手。最后還有永不掉線的優(yōu)勢(shì)，沒(méi)網(wǎng)也能用，飛機(jī)上、地下室、野外探險(xiǎn)，隨時(shí)隨地都是你的AI伙伴。但現(xiàn)實(shí)往往很骨感，端側(cè)大模型聽(tīng)起來(lái)美好，實(shí)際部署起來(lái)卻困難重重。最大的攔路虎是資源限制問(wèn)題——大語(yǔ)言模型動(dòng)輒幾十GB、上百GB，參數(shù)量達(dá)到幾百億甚至上千億，而我們的手機(jī)內(nèi)存才8GB、12GB，這就像要把一頭大象裝進(jìn)冰箱。為了在設(shè)備上運(yùn)行，必須對(duì)模型進(jìn)行"瘦身"，但瘦身就意味著能力下降，如何在保持性能的同時(shí)大幅減小模型體積是個(gè)巨大的技術(shù)難題。更復(fù)雜的是設(shè)備碎片化問(wèn)題，不同廠商的硬件架構(gòu)千差萬(wàn)別——iPhone用A系列芯片，Android手機(jī)有驍龍、麒麟、天璣等各種芯片，還有各種不同的AI專用芯片，同一個(gè)模型要適配這么多種硬件，難度可想而知。

5、技術(shù)大神們是怎么解決的？

1. 模型壓縮三板斧

• 網(wǎng)絡(luò)剪枝
  

就像修剪花園一樣，把模型中不重要的連接"剪掉"。比如一個(gè)神經(jīng)網(wǎng)絡(luò)有1萬(wàn)個(gè)連接，經(jīng)過(guò)剪枝后可能只保留3000個(gè)重要的連接，模型小了很多，但效果基本不變。

• 低精度量化
  

原來(lái)用32位浮點(diǎn)數(shù)存儲(chǔ)參數(shù)，現(xiàn)在改用8位甚至4位整數(shù)。就像照片從高清改成標(biāo)清，文件小了很多，但核心內(nèi)容還在。

• 知識(shí)蒸餾
  

讓一個(gè)小模型去"學(xué)習(xí)"大模型的精華。就像武俠小說(shuō)里的傳功，大師把內(nèi)力傳給徒弟，雖然徒弟的"硬件"不如師父，但能學(xué)到精髓。2. 運(yùn)行時(shí)優(yōu)化黑科技

• KV-Cache優(yōu)化
  

這是個(gè)很技術(shù)的概念，簡(jiǎn)單說(shuō)就是把之前計(jì)算過(guò)的結(jié)果緩存起來(lái)，避免重復(fù)計(jì)算。就像你做數(shù)學(xué)題時(shí)，把中間步驟的結(jié)果記下來(lái)，后面直接用，不用重新算。

• 混合專家模型(MoE)
  

不是所有的"專家"都同時(shí)工作，而是根據(jù)問(wèn)題類型激活對(duì)應(yīng)的專家。就像醫(yī)院里，感冒了找內(nèi)科醫(yī)生，骨折了找骨科醫(yī)生，不需要所有科室的醫(yī)生都出動(dòng)。3. 端邊云協(xié)同大招既然單個(gè)設(shè)備能力有限，那就多個(gè)設(shè)備協(xié)同作戰(zhàn)：

• 模型拆分
  

把大模型拆成幾部分，一部分在手機(jī)上，一部分在邊緣服務(wù)器上，一部分在云端。就像流水線作業(yè)，每個(gè)環(huán)節(jié)負(fù)責(zé)自己擅長(zhǎng)的部分。

• 大小模型配合
  

平時(shí)用小模型處理簡(jiǎn)單問(wèn)題，遇到復(fù)雜問(wèn)題再調(diào)用云端大模型。就像平時(shí)用計(jì)算器算數(shù)，復(fù)雜的統(tǒng)計(jì)分析才用電腦。

6、誰(shuí)在這個(gè)賽道上狂奔？

• 手機(jī)廠商最積極

蘋(píng)果、華為、小米等都在自己的芯片中加入AI處理單元，推出各種本地AI功能：

• 芯片廠商在狂飆

算能、高通、英特爾都在推出專門的AI芯片，算力越來(lái)越強(qiáng)，功耗越來(lái)越低。

• AI公司也沒(méi)閑著

Meta推出了Llama系列，專門優(yōu)化了移動(dòng)端版本；谷歌的Gemini Nano可以在手機(jī)上運(yùn)行；國(guó)內(nèi)的百度、阿里、字節(jié)、面壁智能等也都有相應(yīng)布局。

7、現(xiàn)在能用到哪些端側(cè)AI？

雖然技術(shù)還在發(fā)展中，但已經(jīng)有不少產(chǎn)品可以體驗(yàn)了：手機(jī)上的AI助手

• iPhone的Siri，語(yǔ)音識(shí)別和簡(jiǎn)單對(duì)話已經(jīng)本地化
• 華為手機(jī)的小藝，支持本地語(yǔ)音翻譯
• 三星的Bixby，本地圖像識(shí)別和語(yǔ)音控制

專業(yè)工具

• 一些代碼編輯器開(kāi)始集成本地AI代碼補(bǔ)全
• 本地運(yùn)行的AI寫(xiě)作助手
• 離線的AI翻譯工具

開(kāi)源項(xiàng)目

• Ollama：可以在個(gè)人電腦上運(yùn)行各種開(kāi)源大模型
• llama.cpp：專門優(yōu)化的本地運(yùn)行框架
• MLX：蘋(píng)果推出的機(jī)器學(xué)習(xí)框架

8、還有哪些挑戰(zhàn)需要解決？

• 技術(shù)挑戰(zhàn)

1. 模型壓縮的天花板目前的壓縮技術(shù)雖然能顯著減小模型大小，但壓縮比達(dá)到一定程度后，效果下降會(huì)很明顯。如何突破這個(gè)天花板？2. 硬件適配的復(fù)雜性不同設(shè)備的硬件差異巨大，如何讓同一個(gè)模型在各種設(shè)備上都能高效運(yùn)行？3. 實(shí)時(shí)學(xué)習(xí)和更新如何讓端側(cè)模型能夠持續(xù)學(xué)習(xí)用戶的偏好，同時(shí)保持模型的穩(wěn)定性？

• 商業(yè)挑戰(zhàn)

1. 成本控制端側(cè)部署需要更強(qiáng)大的硬件，會(huì)推高設(shè)備成本，消費(fèi)者買賬嗎？2. 生態(tài)建設(shè)需要操作系統(tǒng)、芯片廠商、應(yīng)用開(kāi)發(fā)者共同參與，如何構(gòu)建完整的生態(tài)？3. 標(biāo)準(zhǔn)化行業(yè)需要統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范，避免各家自立門戶。

9、寫(xiě)在最后

端側(cè)大模型不是要完全取代云端AI，而是要構(gòu)建一個(gè)更加靈活、高效、安全的AI服務(wù)體系。就像當(dāng)年云計(jì)算沒(méi)有完全取代本地計(jì)算一樣，未來(lái)的AI世界應(yīng)該是端云并存、各司其職的。對(duì)于普通用戶來(lái)說(shuō)，最直觀的變化就是：AI會(huì)變得更快、更私密、更個(gè)性化。你的手機(jī)會(huì)真正成為你的智能助手，不再是一個(gè)需要聯(lián)網(wǎng)才能變聰明的"傻瓜"。對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，這是一個(gè)全新的機(jī)遇。移動(dòng)互聯(lián)網(wǎng)時(shí)代誕生了無(wú)數(shù)優(yōu)秀的APP，端側(cè)AI時(shí)代同樣會(huì)催生新一代的應(yīng)用和服務(wù)。對(duì)于整個(gè)行業(yè)來(lái)說(shuō)，這是AI技術(shù)從"集中式"向"分布式"的重要轉(zhuǎn)變，將推動(dòng)AI技術(shù)的進(jìn)一步普及和深入。技術(shù)的發(fā)展總是螺旋上升的，端側(cè)大模型現(xiàn)在還在早期階段，但發(fā)展速度非常快。也許用不了幾年，我們就會(huì)習(xí)慣于擁有一個(gè)隨身攜帶、專屬定制、永不掉線的AI伙伴。那時(shí)候回頭看今天，可能會(huì)覺(jué)得現(xiàn)在的AI應(yīng)用還太原始。但這就是技術(shù)進(jìn)步的魅力所在——每一天的積累，都在為未來(lái)的突破做準(zhǔn)備。

文章來(lái)源于邊緣計(jì)算社區(qū)