每天，在家庭，車輛，工作場(chǎng)所和公共場(chǎng)所，許多人都使用帶光滑玻璃觸摸屏和無(wú)處不在的按鈕的人機(jī)界面（HMI）。COVID-19病毒的傳播和嚴(yán)重程度不斷提高，使人們?cè)絹?lái)越擔(dān)心與其他多個(gè)人觸摸相同的按鈕或屏幕。大流行突然改變了對(duì)替代接口的需求，以減少對(duì)物理接觸的需求。

目前還不完全了解病毒是如何傳播的。然而，最近的一項(xiàng)研究表明，SARS-CoV-2可能在玻璃、塑料和鋼等表面上存活兩到三天。這使得在工作場(chǎng)所、零售店和醫(yī)院環(huán)境中，實(shí)現(xiàn)人類與機(jī)器交互的無(wú)接觸替代品變得更加重要。

引入觸摸控制

工業(yè)物聯(lián)網(wǎng)（IIoT）實(shí)現(xiàn)了制造和智能機(jī)器通信的自動(dòng)化，但仍有一些時(shí)候人類必須與機(jī)器交互。為了減少細(xì)菌和病毒的傳播，我們需要傳統(tǒng)按鈕或觸摸屏控制的非接觸式替代品。

許多用戶都熟悉家庭或車輛中的語(yǔ)音助手應(yīng)用。然而，這種類型的語(yǔ)音控制在嘈雜的生產(chǎn)設(shè)施、活躍的戶外環(huán)境或說(shuō)話的人群中是不可靠的。對(duì)于這些情況，可以將語(yǔ)音和手勢(shì)結(jié)合起來(lái)，給出一個(gè)適應(yīng)性更強(qiáng)、更穩(wěn)健的多模態(tài)無(wú)觸摸界面。

對(duì)于語(yǔ)音或視覺(jué)控制的系統(tǒng)，機(jī)器必須快速可靠地區(qū)分故意的用戶指令和隨機(jī)或無(wú)意的輸入。例如，只有當(dāng)用戶有意做出這種反應(yīng)時(shí)，機(jī)器才應(yīng)該打開(kāi)，而不是僅僅因?yàn)橐粋€(gè)人站在它附近說(shuō)話。機(jī)器視覺(jué)系統(tǒng)可以識(shí)別手勢(shì)，如手部動(dòng)作、點(diǎn)頭、揮腳和指點(diǎn)。解讀肢體語(yǔ)言可以成為機(jī)器對(duì)人類操作者的可見(jiàn)輸入做出反應(yīng)的一種更自然的方式。

基于手勢(shì)的解決方案開(kāi)發(fā)

開(kāi)發(fā)基于手勢(shì)的解決方案的第一步是確定系統(tǒng)必須識(shí)別和解釋哪些手勢(shì)類型。例如，用戶是只用手交流，還是全身運(yùn)動(dòng)？對(duì)于視覺(jué)系統(tǒng)來(lái)說(shuō)，手指的運(yùn)動(dòng)會(huì)比整個(gè)身體更容易捕捉到嗎？整個(gè)身體可能會(huì)被衣服或其他隨身攜帶的物品部分遮住？

手勢(shì)復(fù)雜度也是重要的設(shè)計(jì)參數(shù)。例如，開(kāi)門可能只需要一個(gè)手勢(shì)，但調(diào)整環(huán)境控制或改變生產(chǎn)線可能需要一系列復(fù)雜的手勢(shì)。

最后，移動(dòng)速度和環(huán)境條件也會(huì)起到重要作用，例如，當(dāng)照明水平較低或太亮?xí)r。了解所有這些因素有助于確定所需攝像機(jī)傳感器的數(shù)量和類型、視野、焦距以及檢測(cè)和解釋手勢(shì)所需的分辨率。

此外，還建議提供一個(gè)備用接口，如語(yǔ)音控制或物理觸摸屏，以防用戶無(wú)法使用手勢(shì)方法。對(duì)于工業(yè)環(huán)境中的安全關(guān)鍵功能，應(yīng)用軟件可能需要進(jìn)行功能安全評(píng)估和認(rèn)證，如針對(duì)工業(yè)系統(tǒng)的IEC61508。

把概念變成現(xiàn)實(shí)

了解手勢(shì)，環(huán)境和攝像頭類型后，我們必須獲取或建立手勢(shì)識(shí)別機(jī)器學(xué)習(xí)模型。圖1的左側(cè)顯示了將手勢(shì)示例轉(zhuǎn)換為推理引擎所需的步驟，該引擎實(shí)際上是識(shí)別手勢(shì)的算法。TensorFlow，ONNX和Pytorch是用于此目的的一些常用工具。

只有現(xiàn)在我們才能確定合適的硬件和軟件。手勢(shì)識(shí)別系統(tǒng)通常建立在工業(yè)級(jí)嵌入式平臺(tái)上，從連接到通用計(jì)算核心的單個(gè)智能攝像頭，到為多核處理器提供高度優(yōu)化視覺(jué)和機(jī)器學(xué)習(xí)加速器的多個(gè)攝像頭傳感器。圖1顯示了手勢(shì)識(shí)別系統(tǒng)的兩種選擇，推薦用于更簡(jiǎn)單系統(tǒng)的i.MXRT微控制器平臺(tái)，以及用于更復(fù)雜或更快響應(yīng)手勢(shì)和視覺(jué)系統(tǒng)的NXPi.MX8MPlus應(yīng)用處理器。

立體視覺(jué)攝像頭可以使用MIPI-CSI、USB或以太網(wǎng)連接以及音頻輸入，識(shí)別語(yǔ)音和聲音發(fā)生器，以提供音頻用戶反饋。顯示面板還可以向用戶提供直觀的指示和反饋，并且可以在非接觸式控制發(fā)生故障或?qū)⒉皇褂玫那闆r下包含備用觸摸屏。

最快的方法是利用現(xiàn)有的嵌入式平臺(tái)和工具箱。例如，ToradexApalisi.MX8EmbeddedVisionStarterKit是一種工業(yè)級(jí)單板解決方案，基于NXPi.MX8應(yīng)用程序處理器，結(jié)合AlliedVisionsensor，它利用AmazonWebServices（AWS）開(kāi)發(fā)工具完成對(duì)象識(shí)別任務(wù)。該工具集可以收集手勢(shì)示例，并將其傳輸?shù)紸WS工具中，以訓(xùn)練手勢(shì)識(shí)別模型。然后，可以將生成的推理引擎加載回同一個(gè)工具包中，以識(shí)別手勢(shì)并通知機(jī)器如何響應(yīng)。

結(jié)論

隨著對(duì)非接觸式用戶界面需求的增加，機(jī)器視覺(jué)系統(tǒng)將大受歡迎。這種需求存在于廣泛的應(yīng)用程序中，包括零售、智能建筑、醫(yī)療保健、工業(yè)和娛樂(lè)。

在工業(yè)和制造環(huán)境中，無(wú)接觸控制不僅可以保證用戶的安全，而且可以改善人類與機(jī)器的交互方式?，F(xiàn)有的硬件和軟件子模塊可用于構(gòu)建成本效益高的基于手勢(shì)的控件，這些控件具有響應(yīng)性和可靠性，從而開(kāi)創(chuàng)了一個(gè)無(wú)接觸用戶界面的新時(shí)代，這將有助于行業(yè)在新的常態(tài)下繼續(xù)發(fā)展。

責(zé)任編輯：lq