在嵌入式AI領(lǐng)域，瑞芯微（Rockchip）RK系列NPU憑借低功耗、高兼容性的特性，廣泛應(yīng)用于智能監(jiān)控、邊緣計算、物聯(lián)網(wǎng)設(shè)備等場景。近期發(fā)布的《RKNN Compiler Support Operator List v2.0.0-beta》文檔，不僅更新了6大主流平臺的算子支持細節(jié)，還新增了exSDPAttention、exMatMul等硬件加速算子，為開發(fā)者提供了更清晰的開發(fā)指引。

今天就帶大家全面梳理這份文檔的核心內(nèi)容，從平臺特性到算子細節(jié)，從開發(fā)注意事項到場景適配，幫你快速找到適合自身需求的RK NPU方案。

一、平臺全景：6大系列各有側(cè)重，覆蓋從入門到高端

瑞芯微RK NPU家族涵蓋從入門級到高端旗艦的全場景需求，每個平臺在算子支持、性能優(yōu)化上各有側(cè)重，開發(fā)者可根據(jù)設(shè)備算力、功耗、精度需求精準(zhǔn)選型。

1. RK3566/3568：入門級嵌入式AI首選

?核心定位：低功耗、小算力場景，適合對成本敏感的嵌入式設(shè)備

?算子支持：基礎(chǔ)算子全覆蓋——Add/Sub/Mul、卷積（Conv/Depthwise Conv）、池化（Global Avg/MaxPool、AveragePool）、激活函數(shù)（ReLU、LeakyReLU、Mish）均支持；部分支持GRU/LSTM（擴展為exGRU/exLSTM算子），滿足輕量時序模型需求。

?數(shù)據(jù)類型：int8（量化推理）、float16（半精度推理）雙支持，平衡精度與性能。

?關(guān)鍵約束：Global AveragePool的height范圍需注意——RKNN-Toolkit2支持[1,343]，Compiler僅支持[1,7]；Transpose僅支持5種固定軸順序（如perm=[0,3,1,2]）。

?適用場景：智能家居設(shè)備（如智能音箱、小家電AI交互）、小型監(jiān)控攝像頭、低功耗物聯(lián)網(wǎng)傳感器。

2. RK3588：高端旗艦，多核協(xié)同提升AI性能

?核心定位：中高端邊緣計算，支持多任務(wù)并發(fā)推理

?算子亮點：

?新增exSDPAttention（注意力機制）、exMatMul（矩陣乘）硬件加速，適配Transformer類模型（如輕量NLP模型）；

?卷積類Fuse OP成熟：支持Conv+ReLU/Clip/Sigmoid/Tanh等10 +種組合，減少算子調(diào)度開銷；

?Softmax硬件支持channel/width雙方向（axis=1/3），channel最大支持8192。

?獨家特性：業(yè)內(nèi)首個支持多核協(xié)同的RK NPU平臺，Add、Conv、Concat等基礎(chǔ)算子已實現(xiàn)多核并行，算力利用率提升40%+。

?適用場景：高端智能相機（多目標(biāo)檢測+跟蹤）、邊緣AI網(wǎng)關(guān)（同時處理視頻分析+數(shù)據(jù)轉(zhuǎn)發(fā)）、工業(yè)質(zhì)檢設(shè)備。

3. RV1103/1106：低功耗安防專用，優(yōu)化監(jiān)控場景

?核心定位：安防領(lǐng)域低功耗方案，主打輕量視覺推理

?算子優(yōu)化：針對監(jiān)控場景強化——Global Pool、Conv算子適配小分辨率視頻流；支持exSoftmaxMask（帶掩碼的Softmax），可快速實現(xiàn)目標(biāo)遮擋場景的推理修正。

?數(shù)據(jù)類型：以int8為主（量化推理功耗更低），部分支持float16，適配安防場景的低精度需求。

?關(guān)鍵優(yōu)勢：Transpose支持NCHW轉(zhuǎn)NHWC等4種模式，且對齊要求寬松（8bit 16對齊、16bit 8對齊），視頻數(shù)據(jù)格式轉(zhuǎn)換效率更高。

?適用場景：智能門鈴、低功耗攝像頭（電池供電）、車載環(huán)視（輕量感知任務(wù)）。

4. RK3562：中端均衡之選，強化時序模型支持

?核心定位：中端嵌入式AI，平衡算力與成本

?算子特色：

?支持GRU（exGRU）算子，sequence/input_size分別要求4/8對齊，適配時序數(shù)據(jù)（如語音、傳感器時序）；

?LayerNorm支持預(yù)歸一化（pre_norm），可防止推理溢出，適配Transformer類模型；

?硬件支持exSDPAttention，輕量NLP任務(wù)推理速度提升明顯。

?適用場景：工業(yè)檢測（如流水線缺陷識別）、中端物聯(lián)網(wǎng)設(shè)備（帶語音交互的智能終端）。

5. RK3576：V2.0.0-beta新增平臺，聚焦Transformer優(yōu)化

?核心定位：新發(fā)布中端平臺，主打Transformer模型適配

?算子亮點：

?硬件支持exSDPAttention、exMatMul，解決Transformer模型在嵌入式設(shè)備上的推理瓶頸；

?Conv+Add+ReLU等組合Fuse OP全覆蓋，CNN模型推理效率優(yōu)化；

?多核協(xié)同初步支持（Conv、Depthwise Conv），后續(xù)版本將擴展更多算子。

?適用場景：需要兼顧CNN與Transformer推理的設(shè)備（如帶文本分類的圖像識別終端）、邊緣AI盒子。

6. RK2118：簡化開發(fā)，float16專屬平臺

?核心定位：輕量浮點推理場景，降低多精度適配成本

?獨特之處：僅支持float16數(shù)據(jù)類型，無需兼顧int8量化適配，開發(fā)流程簡化；基礎(chǔ)算子（Conv、Pool、激活函數(shù)）全覆蓋，exGlu算子支持，滿足輕量浮點模型需求。

?約束說明：無int8支持，不適合對功耗、算力要求嚴(yán)苛的場景。

?適用場景：對推理精度要求高的輕量設(shè)備（如醫(yī)療便攜檢測設(shè)備、高精度傳感器數(shù)據(jù)處理終端）。

二、核心共性與差異化：開發(fā)者必知的關(guān)鍵特性

1.全平臺共性優(yōu)勢

?數(shù)據(jù)類型：除RK2118外，均支持int8（量化）+float16（半精度），兼顧“低功耗”與“高精度”需求；

?基礎(chǔ)算子全覆蓋：Add、Sub、Mul、Conv、Pool（Avg/Max）、激活函數(shù)（ReLU、Sigmoid、Mish）等核心算子全平臺支持，模型遷移成本低；

?廣播機制統(tǒng)一：遵循ONNX NCHW規(guī)范，支持4種廣播方式（如A (N,C,H,W)與B (C,1,1)、B (H,W)廣播），算子調(diào)用邏輯一致；

?Fallback保障：不支持的算子自動轉(zhuǎn)CPU執(zhí)行（CPU支持ArgMin/ArgMax、GRU、InstanceNormalization等超100種算子），模型兼容性拉滿；

?GPU輔助：GPU僅支持MatMul算子（float16，需設(shè)置GPU優(yōu)先），滿足矩陣乘場景的算力補充。

2.平臺差異化亮點速查表

平臺	核心優(yōu)勢	數(shù)據(jù)類型	獨家特性	適用場景
RK3566/3568	入門級成本低	int8/float16	無	低功耗小設(shè)備
RK3588	多核協(xié)同，算力強	int8/float16	多核并行、exSDPAttention	高端邊緣計算
RV1103/1106	低功耗，安防優(yōu)化	int8為主	Transpose效率優(yōu)化	低功耗攝像頭
RK3562	時序模型支持	int8/float16	exGRU、LayerNorm pre_norm	工業(yè)檢測、語音交互
RK3576	新平臺，Transformer優(yōu)化	int8/float16	硬件exMatMul	多模型融合設(shè)備
RK2118	簡化開發(fā)，浮點專屬	float16 only	無int8適配成本	高精度輕量設(shè)備

三、開發(fā)避坑指南：關(guān)鍵約束與建議

1.輸入輸出規(guī)格需注意

?寬度對齊：零拷貝API下，RK3566/3568（int8 channel=1,3,4時8對齊）、RK3588（int8 16對齊）、RV1103/1106（16對齊），需通過w_stride屬性查詢實際對齊要求；

?維度限制：多數(shù)平臺默認支持4維輸入（NCHW），非4維輸入需CPU fallback；

?輸出Layout：NC1HWC2格式需Channel對齊（如RK3588 int8最后一層卷積需32對齊）。

1.算子約束要牢記

?Concat/Split：Channel方向需對齊（8bit 8對齊、16bit 4對齊，RK3576/RK2118為16/8對齊）；

?Resize：僅支持最近鄰/線性插值，放大倍數(shù)≤8倍；

?GRU/LSTM：sequence建議4對齊，hidden_size建議8對齊，雙向模式僅支持batch=1。

1.版本選擇有技巧

?優(yōu)先使用V2.0.0-beta版本：新增RK3576/RK2118支持，修復(fù)歷史約束（如RK3588 Transpose限制），硬件加速算子更豐富；

?參考配套文檔：《Rockchip_RKNPU_User_Guide_RKNN_SDK》可獲取零拷貝API、mean/scale配置細節(jié)，避免踩坑。

四、結(jié)語：RK NPU，嵌入式AI的靈活工具箱

瑞芯微RK系列NPU通過6大平臺的差異化布局，覆蓋了從入門到高端、從低功耗到高性能的全場景嵌入式AI需求。無論是需要成本敏感的小家電，還是追求算力的邊緣網(wǎng)關(guān)，亦或是專注安防的低功耗攝像頭，都能找到適配的方案。

隨著V2.0.0-beta版本新增硬件加速算子（exSDPAttention、exMatMul）和新平臺支持，RK NPU的Transformer模型適配能力進一步增強，為嵌入式AI開發(fā)者提供了更靈活的選擇。

如需獲取完整算子支持列表（含詳細參數(shù)約束、輸入輸出計算示例），可參考瑞芯微官方文檔《RKNN Compiler Support Operator List v2.0.0-beta》，也歡迎在評論區(qū)交流你的開發(fā)場景，一起探討RK NPU的最佳實踐！