YY3568開發(fā)板是 「風(fēng)火輪科技」 基于Rockchip RK3568 芯片平臺(tái)設(shè)計(jì)的開發(fā)板，四核 64Cortex-A55 核，主頻最高達(dá) 2GHz，集成雙核心架構(gòu)GPU以及高效能NPU，芯片性能優(yōu)異。開發(fā)板功能接口豐富，多媒體性能強(qiáng)悍、可在物聯(lián)網(wǎng)、工業(yè)控制、智慧交通、輕量級(jí)人工智能等領(lǐng)域發(fā)揮獨(dú)特優(yōu)勢(shì)。

RKNPU已經(jīng)經(jīng)過了幾代的發(fā)展，趨近成熟。RK3399pro和RK1808初次引入了 RKNPU，相比傳統(tǒng)的CPU和GPU相比傳統(tǒng)的CPU和GPU，在深度學(xué)習(xí)運(yùn)算能力上有比較大幅度的提升。接下來在RV1109和RV1126上使用了第二代NPU，提升了NPU的利用率。第三代NPU應(yīng)用在RK3566和RK3568上，搭載全新NPU自研架構(gòu)，而RK3588搭載的為第四代NPU，提高了帶寬利用率，支持了多核擴(kuò)展。

什么是rknn

RKNN：瑞芯微的神經(jīng)網(wǎng)絡(luò)計(jì)算框架，它提供了一系列的工具和庫，幫助開發(fā)者更輕松地構(gòu)建、訓(xùn)練和部署神經(jīng)網(wǎng)絡(luò)模型。RKNN支持各種流行的深度學(xué)習(xí)框架，如TensorFlow、PyTorch等，并提供了豐富的API接口，方便開發(fā)者進(jìn)行模型轉(zhuǎn)換、優(yōu)化和部署。通過RKNN，開發(fā)者可以更高效地利用RKNPU的計(jì)算能力，實(shí)現(xiàn)更快速、更準(zhǔn)確的神經(jīng)網(wǎng)絡(luò)推理。

什么是rknpu

RKNPU：瑞芯微的神經(jīng)網(wǎng)絡(luò)處理單元，旨在在移動(dòng)設(shè)備和邊緣設(shè)備上高效地執(zhí)行深度學(xué)習(xí)推理任務(wù)。它針對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了優(yōu)化，能夠提供高性能、低功耗的推理計(jì)算能力。通過高效的計(jì)算和低延遲的處理，RKNPU可以幫助開發(fā)者實(shí)現(xiàn)各種人工智能和機(jī)器學(xué)習(xí)應(yīng)用，如圖像識(shí)別、語音識(shí)別、自然語言處理等。

什么是rknn-toolkit2

RKNN-Toolkits：瑞芯微的神經(jīng)網(wǎng)絡(luò)工具包，它為開發(fā)者提供了一系列實(shí)用的工具和庫，用于加速神經(jīng)網(wǎng)絡(luò)的開發(fā)和部署。RKNN-Toolkits包含了各種常用的工具，如模型轉(zhuǎn)換工具、性能分析工具、調(diào)試工具等，方便開發(fā)者進(jìn)行模型的訓(xùn)練、測(cè)試和優(yōu)化。此外，RKNN-Toolkits還提供了豐富的示例代碼和文檔，幫助開發(fā)者快速上手并掌握如何使用瑞芯微的神經(jīng)網(wǎng)絡(luò)解決方案。

rknn-toolkit2環(huán)境搭建

安裝Miniconda

Conda 是一個(gè)開源的軟件包管理系統(tǒng)和環(huán)境管理系統(tǒng)，它可以用于安裝、管理和升級(jí)軟件包和依賴項(xiàng)。

下載并安裝Miniconda，安裝完成之后會(huì)自動(dòng)設(shè)置環(huán)境變量，重新打開終端：

rice@rice:~$mkdir-p~/rknn/tools/miniconda
rice@rice:~$cd~/rknn/tools/miniconda
rice@rice:~/rknn/tools/miniconda$wgethttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
rice@rice:~/rknn/tools/miniconda$./Miniconda3-latest-Linux-x86_64.sh

在用戶目錄下新建.condarc文件，并輸入如下內(nèi)容

rice@rice:~$vim.condarc

channels:
-defaults
show_channel_urls:true
channel_alias:https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
-https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

創(chuàng)建RKNN虛擬環(huán)境

為了避免環(huán)境導(dǎo)致一系列問題，使用conda創(chuàng)建rknn虛擬環(huán)境，使用如下命令；命令執(zhí)行之后，首先會(huì)要求安裝一些列軟件包，輸入 y 確認(rèn)即可。

rice@rice:~/rknn$condacreate-nrknnpython=3.8

激活rknn虛擬環(huán)境，命令如下

rice@rice:~/rknn$condaactivaterknn

安裝rknn_toolkit2

創(chuàng)建rknn_toolkit2目錄，命令如下：

rice@rice:~$mkdir-p~/rknn/tools/rknn_toolkit2

將requirements_cp38-1.4.0.txt和rknn_toolkit2-1.4.0_22dcfef4-cp38-cp38-linux_x86_64.whl拷貝到目錄：~/rknn/tools/rknn_toolkit2

安裝numpy，命令如下：

rice@rice:~$pipinstallnumpy==1.16.6-ihttps://pypi.tuna.tsinghua.edu.cn/simple

安裝瑞芯微提供的requirements_cp38-1.4.0.txt文件的依賴包，命令如下：

rice@rice:~$cd~/rknn/tools/rknn_toolkit2
rice@rice:~/rknn/tools/rknn_toolkit2$pipinstall-rrequirements_cp38-1.4.0.txt-ihttps://pypi.tuna.tsinghua.edu.cn/simple

安裝瑞芯微的rknn_toolkit2，命令如下：

rice@rice:~/rknn/tools/rknn_toolkit2$pipinstall-rrequirements_cp38-1.4.0.txt-ihttps://pypi.tuna.tsinghua.edu.cn/simple

注意：如果遇到invalid version‘1.4.0-22dcfef4'的問題輸入下面這兩句命令

pipinstalluninstallsetuptools
pipinstallinstallsetuptools==49.6.0-ihttps://pypi.tuna.tsinghua.edu.cn/simple

安裝pycharm

官網(wǎng)下載pycharm，下載路徑：~/rknn/tools/，官網(wǎng)鏈接：https://www.jetbrains.com/pycharm/。

解壓安裝pycharm，執(zhí)行命令：

rice@rice:~$cd~/rknn/tools
rice@rice:~/rknn/tools$tar-xzvfpycharm-community-2023.1.tar.gz
rice@rice:~/rknn/tools$cdpycharm-community-2023.1/bin/
rice@rice:~/rknn/tools/pycharm-community-2023.1/bin/$./pycharm.sh

安裝完后進(jìn)入pycharm軟件，如下圖：

創(chuàng)建pycharm工程

通過pycharm創(chuàng)建工程，新建項(xiàng)目，選擇好工程存放目錄

選擇解析器為“先前配置的解析器”，配置為rknn的模擬器的解析器，如下圖：

創(chuàng)建完成之后，打開 Pycharm 內(nèi)置終端，可以看到默認(rèn)已經(jīng)幫我們激活了RKNN虛擬環(huán)境，如下圖所示

rknn 模型推理

通過pycharm打開rknn-toolkit2提供的examples，我們使用rknn-toolkit2提供的onnx的實(shí)例。onnx目錄：rknn-toolkit2/examples/onnx/yolov5

默認(rèn)的工程推理之后不顯示出結(jié)果，我們需要將test.py中輸出顯示的注釋去掉

執(zhí)行test.py腳本，即可以看到其推理的結(jié)果

yy3568 模型推理

我們將yy3568安裝ubuntu系統(tǒng)，官方提供了yy3568的ubuntu系統(tǒng)，直接下載安裝即可，教程連接如下：https://wiki.youyeetoo.cn/zh/YY3568

默認(rèn)的yy3568的ubuntu系統(tǒng)提供了一個(gè)實(shí)例，目錄：/rockchip-test/rknn_ssd_demo_Linux。進(jìn)入這個(gè)目錄，運(yùn)行demo：

youyeetoo@smartfly:~$cd/rockchip-test/rknn_ssd_demo_Linux
youyeetoo@smartfly:/rockchip-test/rknn_ssd_demo_Linux$
youyeetoo@smartfly:/rockchip-test/rknn_ssd_demo_Linux$./rknn_ssd_demo./model/RK356X/ssd_inception_v2.rknn./model/bus.jpg