日前，香橙派官方發(fā)布OrangePi AIpro（20T）運(yùn)行Deepseek-R1蒸餾模型實(shí)操指南，幫助用戶(hù)通過(guò)先進(jìn)算力和硬件架構(gòu)實(shí)現(xiàn)高效的端側(cè)智能。

OrangePi AIpro（20T）是香橙派聯(lián)合昇騰AI打造的高算力開(kāi)發(fā)板，根植于昇騰AI技術(shù)，集AI計(jì)算、ISP、圖形輸出等功能于一體，釋放高達(dá)20 TOPS的AI算力。可配24GB運(yùn)行內(nèi)存，匯聚了MIPI DSI、雙MIPI CSI、USB3.0、Type-C、雙HDMI2.0、雙2.5G以太網(wǎng)、支持SATA/NVMe SSD 2280的M.2插槽等各類(lèi)流行的接口。 OrangePi AIpro（20T）依托昇騰AI基礎(chǔ)軟硬件能力的基礎(chǔ)，融合大模型與訓(xùn)推一體化優(yōu)勢(shì)，實(shí)現(xiàn)端邊云全場(chǎng)景無(wú)縫部署，是構(gòu)建昇騰計(jì)算產(chǎn)品、使能上層軟件和應(yīng)用的底座，有高算力、高能效等特性。

該產(chǎn)品廣泛應(yīng)用于AI邊緣計(jì)算、深度視覺(jué)與視頻流分析、自然語(yǔ)言處理、智能機(jī)器人（如小車(chē)、機(jī)械臂）、無(wú)人機(jī)、云計(jì)算、AR/VR、智能安防及家居等AIoT全領(lǐng)域，引領(lǐng)行業(yè)智能化轉(zhuǎn)型。

基于昇騰硬件底座、昇騰異構(gòu)計(jì)算架構(gòu)CANN、昇思Mindspore AI框架以及MindlE推理引擎，用戶(hù)可以通過(guò)OrangePi Alpro(20T)開(kāi)展面向金融、教育、政務(wù)、智能制造、智能家居、智慧交通等行業(yè)的人工智能應(yīng)用開(kāi)發(fā)。

OrangePi AIpro（20T）運(yùn)行Deepseek-R1蒸餾模型

據(jù)了解，DeepSeek-R1專(zhuān)為數(shù)學(xué)、代碼生成和復(fù)雜邏輯推理任務(wù)設(shè)計(jì)，通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)（RL）提升推理能力，還摒棄監(jiān)督微調(diào)（SFT），采用純強(qiáng)化學(xué)習(xí)（GRPO算法）訓(xùn)練基座模型。同時(shí)，DeepSeek-R1提供了高效模型蒸餾技術(shù)，可將大規(guī)模模型能力遷移至更小、更高效的版本，優(yōu)化模型性能、開(kāi)源應(yīng)用。經(jīng)蒸餾后的DeepSeek-R1模型支持部署于端側(cè)，大幅降低計(jì)算資源需求，顯著提升端側(cè)設(shè)備的AI推理效率。

除OrangePi AIpro（20T）之外，迅龍軟件也發(fā)布了OrangePi AI Studio、OrangePi 5Plus運(yùn)行Deepseek-R1蒸餾模型的實(shí)操指南。迅龍軟件表示，未來(lái)將繼續(xù)加大研發(fā)投入，攜手行業(yè)伙伴，推動(dòng)不同算力等級(jí)的開(kāi)發(fā)板與DeepSeek等優(yōu)質(zhì)模型相結(jié)合，進(jìn)一步降低端側(cè)AI的門(mén)檻，為客戶(hù)創(chuàng)造更大的AI價(jià)值。

實(shí)操指南

DeepSeek-R1-Distill-Qwen-1.5B

1. 下載最新的desktop版本鏡像。

1. 執(zhí)行以下命令啟動(dòng)推理。

(base) HwHiAiUser@orangepiaipro-20t:~$cd orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B

(base) HwHiAiUser@orangepiaipro-20t:~/orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B$python deepseek-r1-distill-qwen-1.5b.py

1. 第一次啟動(dòng)會(huì)自動(dòng)下載模型，具體時(shí)間視網(wǎng)絡(luò)環(huán)境而定，模型會(huì)被下載到“~/orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B/.mindnlp/model/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/”文件夾內(nèi)。

1. 推理代碼默認(rèn)在啟動(dòng)的時(shí)候會(huì)檢查相關(guān)的依賴(lài)，此時(shí)如果網(wǎng)絡(luò)環(huán)境不好，會(huì)導(dǎo)致無(wú)法啟動(dòng)。如果不是第一次啟動(dòng)，且模型已經(jīng)下載完成，可以按照下圖所示，修改tokenizer和model參數(shù)，將路徑改成本地絕對(duì)路徑，這樣就可以離線(xiàn)啟動(dòng)了。

(base) HwHiAiUser@orangepiaipro-20t:~/orange-pi-mindspore/Online/17-DeepSeek-R1-Distill-Qwen-1.5B$vimdeepseek-r1-distill-qwen-1.5b.py

1. 等待一會(huì)，會(huì)出現(xiàn)一個(gè)ip，復(fù)制到開(kāi)發(fā)板上的瀏覽器的地址欄訪(fǎng)問(wèn)。

1. 啟動(dòng)后，可在頁(yè)面下方消息輸入框“Type a message…”中輸入任何問(wèn)題，或者點(diǎn)擊下方Examples中設(shè)置好的問(wèn)題，然后點(diǎn)擊右側(cè)的“Submit”按鈕，Qwen模型將對(duì)此進(jìn)行回答。

1. 第一次回答需要較長(zhǎng)時(shí)間加載，大約需要1分鐘，請(qǐng)耐心等待?；卮饘@示在上方聊天框中。

1. 如果出現(xiàn)Error，可以點(diǎn)擊“retry”按鈕重新發(fā)送上一條消息，并讓模型重新回答；點(diǎn)擊“undo”按鈕可撤回上一條消息；點(diǎn)擊“clear”按鈕將清空聊天框中的對(duì)話(huà)。

1. 輸出結(jié)果如下圖所示：