int main(int argc, char *argv[]) {
string model = argv[1];
return vitis::ai::main_for_video_demo(
    argc, argv,
    [model] {
        return vitis::ai::FaceDetect::create(model);
    },
    process_result, 2);
}

此代碼的可視化表示如下圖所示：

?

我們可以看到 main 函數(shù)使用了一個通用的 main_for_video_demo() 函數(shù)，并向它傳遞了一個 FaceDetect 類的實例，該類提供了 create() 和 run() 方法，以及一個 process_result() 函數(shù)。

該示例可以使用以下命令運行：

1. 啟動后，啟動 dpu_sw_optimize.sh 腳本，該腳本將優(yōu)化 DDR 內(nèi)存的 QoS 配置

$ cd ~/dpu_sw_optimize/zynqmp
$ source ./zynqmp_dpu_optimize.sh

2. 禁用 dmesg 詳細輸出：

$ dmesg -D

3.定義DISPLAY環(huán)境變量

$ export DISPLAY=:0.0

4.將DP顯示器的分辨率改為較低的分辨率，比如640x480

$ xrandr --output DP-1 --mode 640x480

5.使用以下參數(shù)啟動面部檢測應用程序：

• 指定“densebox_640_360”作為第一個參數(shù)
• 指定“0”作為第二個參數(shù)，指定 USB 攝像頭）

$ cd ~/Vitis-AI/demo/Vitis-AI-Library/samples/facedetect
$ ./test_video_facedetect densebox_640_360 0

test_video_facedetect 密集框_640_360 0

?

第 4 步 - 創(chuàng)建頭部姿勢估計應用程序

我們可以使用這個通用的 main_for_video_demo()，以及一個定義我們修改后的用例的自定義類，如下圖所示：

?

對于頭部姿態(tài)估計示例，對面部檢測示例進行了以下修改：

• 添加人臉地標
• 添加頭部姿勢估計

下圖說明了此示例的修改代碼。

?

修改后的代碼可以在以下位置找到：

~/vitis_ai_cpp_examples/facedetectwithheadpose/test_video_facedetectwithheadpose.cpp

1. 構建頭部姿態(tài)估計應用程序

$ cd ~/vitis_ai_cpp_examples/facedetectwithheadpose
$ ./build.sh

2.啟動頭部姿勢估計應用程序

$ cd ~/vitis_ai_cpp_examples/facedetectwithheadpose
$ ./test_video_facedetectwithheadpose 0

test_video_facedetectwithheadpose 0

?

對于頭部姿勢估計示例，我重用了以下代碼：

頭部姿勢估計：

• Satya Mallick，使用 OpenCV 和 DLIB 進行頭部姿勢估計，LearnOpenCV https://learnopencv.com/head-pose-estimation-using-opencv-and-dlib/https://github.com/spmallick/learnopencv/blob/master/頭部姿勢/headPose.cpp

我不會描述這個算法背后的數(shù)學原理，因為 Mallick 先生做得很好。我們需要知道的是，在我們的 2D 檢測到的面部上需要以下 6 個標志點，以便估計頭部位置。

?

Xilinx 的 facelandmark 模型為我們提供了 5 個界標，分別對應兩只眼睛、鼻子和嘴角，因此我們?nèi)鄙俚?6 個界標，對應下巴。

在我的實現(xiàn)中，我粗略估計了下巴的位置：

• 相對于嘴的位置與相對于眼睛的鼻子的位置大致相同

第 5 步 - Python 實現(xiàn)

python中也提供了類似的實現(xiàn)。

1.啟動頭部姿態(tài)估計示例的python版本：

$ cd ~/vitis_ai_python_examples/face_applications
$ python3 face_headpose.py

?

已知限制

在這個項目中實現(xiàn)的頭部姿勢估計有一定的局限性。當頭部姿勢向上或向下看時，它不能很好地工作。有兩個因素可能導致這種情況：

• 用于眼睛的界標對應于眼睛的中心，而頭部姿勢源代碼假設眼睛的外角
• 估計用于下巴的地標，可能并不總是正確的

你能改進這個實現(xiàn)嗎？

• 你會以不同的方式計算下巴位置嗎？
• 你會使用一個替代的面部標志，包括面部

第 6 步 - 使用 DLIB 改進結果

為了改善結果，我嘗試了 DLIB 提供的功能，這是一個非常流行的人臉檢測和地標庫。

為了加快速度，我將在 python（而不是 C++）中執(zhí)行此操作。

1.首先需要做的是安裝DLIB

安裝 dlib 包（僅與 python 一起使用）的最快方法是使用 pip3 命令：

$ pip3 install dlib

安裝 dlib（供 python 和 C++ 使用）的較長方法是從源代碼構建：

# download source code from dlib.net
wget http://dlib.net/files/dlib-19.21.tar.bz2
tar xvf dlib-19.21.tar.bz2
cd dlib-19.21

# build/install for use with C++
mkdir build
cd build
cmake ..
cmake --build . --config Release
sudo make install

# build/install for use with python
python setup.py install

這兩種方法都需要有效的互聯(lián)網(wǎng)連接并且需要很長時間，因為需要為我們的嵌入式平臺構建包。

2. 確保您擁有最新版本的存儲庫內(nèi)容

$ cd ~/vitis_ai_python_examples
$ git pull

3.接下來，運行以下腳本

$ cd ~/vitis_ai_python_examples/face_applications_dlib
$ python3 face_headpose_dlib.py

此版本的腳本具有以下附加功能：

• 添加了狀態(tài)顯示，其中包括 FPS
• 按“d”在人臉檢測算法之間切換（VART 與 DLIB）
• 按“l(fā)”在人臉界標算法之間切換（VART 與 DLIB）

請注意，VART 是 Vitis-AI 運行時的縮寫，此處用于表示使用 Vitis-AI 預構建模型。

首先要觀察的是，VART 人臉檢測的運行速度比 DLIB 人臉檢測快 5 倍，但結果相似。

?

?

?

?

1 / 2 ? VART 人臉檢測 - 10 幀/秒

?

可以進行的第二個觀察是 VART 面部標志與 DLIB 面部標志不在同一個位置，這可能解釋了為什么使用 DLIB 面部標志可以獲得更好的頭部姿勢結果：

• 眼睛標志物：VART 位于眼睛中心，DLIB 位于外角
• 鼻子標志：VART 位于鼻子底部，DLIB 位于鼻尖
• 下巴地標：為 VART 估計，為 DLIB 正確定位

?

?

?

?

1 / 2 ? VART 面部標志 - 正面

?

可以觀察到的第三個觀察結果是，當人臉不是正面時，VART 人臉界標更好。

?

?

?

?

1 / 2 ? VART 面部標志 - 側面

?

那么，有贏家嗎？

就性能而言，絕對是基于 Vitis-AI 的人臉檢測和地標實現(xiàn)。

對于頭部姿勢結果：

對于正面用例，基于 Vitis-AI 的人臉檢測和基于 DLIB 的地標可提供更好的結果。

對于側面用例，基于 Vitis-AI 的人臉檢測和地標可提供更好的結果。

第 7 步 - 進一步使用 DLIB 面部標志

我鼓勵您運行顯示每種算法的所有地標的腳本版本，如下所示：

$ cd ~/vitis_ai_python_examples/face_applications_dlib
$ python3 face_landmark_dlib.py

?

?

?

?

1 / 2 ? DLIB 地標 - 68 分

?

您還能想到哪些其他使用面部標志的應用程序？在下面的評論中分享您的想法。

結論

我希望本教程能幫助您開始在 Ultra96-V2 和其他 Avnet 平臺上使用人臉應用程序。

如果您還想看到任何其他相關內(nèi)容，請在下面的評論中分享您的想法。

修訂記錄

2021/03/15 - 第一版

2021/03/18 - 添加了“第 6 步 - 使用 DLIB 改進結果”