現(xiàn)代農(nóng)業(yè)機器人系統(tǒng)在果實采摘過程中常受限于傳感和操作能力，特別是果實顏色、大小和硬度的多樣性帶來了巨大挑戰(zhàn)?，F(xiàn)有的剛性抓手和單模態(tài)傳感方案極易導(dǎo)致果實損傷，造成嚴(yán)重的后期損失。

2026年3月23日，康奈爾大學(xué)Robert F. Shepherd等人開發(fā)了一款集成了視覺、觸覺和曲率傳感的多功能五指軟體抓手。該系統(tǒng)通過13 個嵌入式傳感器、車載電子設(shè)備和局部計算單元，實現(xiàn)了自適應(yīng)和無損采摘。其核心技術(shù)在于每根手指中嵌入的定制可拉伸光纖，通過光信號損失來監(jiān)測觸覺和彎曲狀態(tài)，而掌心則集成了微型攝像頭和距離傳感器。實驗證明，該抓手能在兩秒內(nèi)完成動作，舉起超過自身重量 16 倍的物體，并能精準(zhǔn)分類果實形狀和評估成熟度，為精準(zhǔn)農(nóng)業(yè)和通用機器人操作提供了高度集成的軟體傳感解決方案。

正文內(nèi)容

圖1 | 具備識別物體形狀、大小和硬度的多功能抓手概覽。a. 集成曲率傳感器（紅箭頭）、觸覺傳感器（藍箭頭）、攝像頭、飛行時間（ToF）傳感器和旋轉(zhuǎn)模塊（黑箭頭）的軟體機器人抓手 CAD 模型 。b. 抓手在不同抓取狀態(tài)下的照片。c-d. 抓手抓取草莓和綠色大型果實的演示 。e-h. 視覺分析過程。i. 觸覺測量的光強損失曲線。
圖1指出，雖然視覺檢測速度快但易受光照影響，而觸覺檢測雖能測量機械特性但速度較慢且易導(dǎo)致擠壓損傷。因此，將低成本攝像頭視覺與光纖觸覺傳感融合到五指徑向?qū)ΨQ抓手中。視覺系統(tǒng)利用 HSV 色空間中的色調(diào)（Hue）通道實現(xiàn)穩(wěn)健的顏色識別。這種多模態(tài)方法利用不同傳感器的優(yōu)勢互補，使其能適應(yīng)復(fù)雜的戶外環(huán)境和果實變異。

圖2 | 抓手運動學(xué)測量與制造概覽。a. 使用 Carbon M1 打印機制造的手指主體照片 。b. 軟質(zhì)和硬質(zhì)材料的典型應(yīng)力-應(yīng)變曲線。c. 手指彎曲角度隨內(nèi)部壓力增加的變化曲線 。d. 真實手指彎曲狀態(tài)與有限元模擬（FEA）的疊加對比。e. 抓手工作空間隨壓力增加的變化分析。f. 不同充氣水平下的抓手原型與 FEA 預(yù)測的對比。

圖2表明，抓手采用多材料 3D 打印技術(shù)制造，手指使用軟質(zhì)彈性體（SIL 30），而底座使用硬質(zhì)材料（RPU 70） 。實驗顯示，每根手指在 70 kPa 壓力下可彎曲達 240°，這與有限元預(yù)測高度一致 。此外，抓手的工作空間可從 200 mm2 擴展至 14,000 mm2，極大增強了其抓取不同尺寸果實的靈活性。

圖3 | 抓手靜態(tài)力測量概覽。a. 軟體手指的阻塞力隨壓力增加的變化及模擬驗證 。b. 單根手指在不同阻塞狀態(tài)下的照片及對應(yīng)的 FEA 預(yù)測 。c. 水平拉力測量過程 。d. 使用不同直徑（2 cm 至 5 cm）的半球體測試?yán)εc物體尺寸的關(guān)系 。e. 展示抓手提起 100 g 到 1,000 g 載荷的能力。

圖3表明，手指的阻塞力在 100 kPa 下可達 1.26 N。通過水平拉力測試發(fā)現(xiàn)，物體尺寸越大、輸入壓力越高，抓手能產(chǎn)生的拉力也越大，最高可達 8.10 N。在垂直負(fù)載測試中，該抓手成功舉起了 1 kg 的重物，相當(dāng)于其自身重量的 16 倍，證明了其優(yōu)異的載荷比。

圖4 | 視覺傳感器分析。 a. 顏色、尺寸和形狀感知的實驗裝置，包括高度可調(diào)平臺 。b. 顏色檢測算法輸出示例。c. 形狀和尺寸分類結(jié)果。d. 對不同物體的參數(shù)分析 。e. 平均絕對百分比誤差（MAPE）圖表。

圖4發(fā)現(xiàn)，HSV 空間中的色調(diào)通道對成熟度變化最為敏感，且對不同光照條件具有穩(wěn)健性。在形狀分類中，系統(tǒng)實現(xiàn)了約 100% 的準(zhǔn)確率。對于尺寸測量，隨著物體變大，測量誤差逐漸減小，對于立方體物體的周長測量誤差甚至降至 1.8% 以下。

圖5 | 曲率傳感器設(shè)計與表征。a. 手指內(nèi)穿過的光纖及激光二極管、光敏三極管底座 。b. 光強損失隨壓力增加的變化曲線 。c. 手指在不同彎曲狀態(tài)下的照明展示（0°、94°、225°） 。d. 光波導(dǎo)輸出與彎曲角度的相關(guān)性曲線 。e. 集成曲率傳感器的抓手檢測物體滑移演示。

圖5表明，曲率傳感器（本體感覺傳感器）的主要功能是監(jiān)測手指的彎曲狀態(tài)，確保穩(wěn)定接觸而不損傷果實 。光纖在彎曲超過臨界角（約 75-80°）后，光強會發(fā)生劇烈下降 。此外，該傳感器還能用于載荷估算，實驗顯示持有 600 g 物體時的光強損失比 200 g 時高出 50%，并能有效檢測到重量滑移事件。

圖6 | 觸覺傳感器設(shè)計與表征。a. U 形可穿戴觸覺傳感器設(shè)計 。b. 集成在手指末端的觸覺傳感器示意圖 。c. 使用力學(xué)測試機（Cell Scale）進行表征的實驗裝置，測試了不同硬度的材料 。d. 不同硬度材料（特軟、軟、硬）的力-位移曲線 。e. 對應(yīng)于材料硬度的傳感器響應(yīng)信號 。f. 五個不同傳感器的光信號損失與力之間的相關(guān)性 。g. 基于材料硬度重復(fù)性的定量分析。

圖6表明，觸覺傳感器被設(shè)計成模塊化的 U 形結(jié)構(gòu)，通過魔術(shù)貼附著在指尖 。該傳感器能清晰區(qū)分硬質(zhì)物體（1.7 GPa）和特軟物體（55 kPa）及真實草莓 。在 0.7 mm 的恒定位移下，擠壓硬質(zhì)物體產(chǎn)生的最大光損失可達 -9 dB。

圖7 | 利用觸覺和視覺引導(dǎo)的軟體抓手進行實時采摘和操作。a. 安裝在 6 自由度機械臂上的抓手 。b. 全集成軟體抓手細(xì)節(jié) 。c. 實時操作合成軟硬物體并測量其參數(shù) 。d. 抓取真實水果并實時測量形狀和顏色 。e-f. 對成熟和未成熟果實的實時視覺感測 。g. 各種物體（合成物體、牛油果、草莓）的實時觸覺測量匯總。

圖7的最終演示中，該系統(tǒng)被安裝在 MyCobot 320 機械臂上 。它不僅能成功抓取并搬運超市購買的牛油果和草莓，還能在溫室中直接采摘活植株上的草莓 。抓手通過旋轉(zhuǎn)模塊模擬“扭轉(zhuǎn)”而非“剪切”的方式分離果實，有效避免了對莖干的損傷。

總結(jié)與展望

本研究成功研發(fā)了一款集成多模態(tài)傳感的緊湊型軟體機器人抓手，能夠通過融合五種曲率傳感、五種觸覺傳感、一種壓力傳感和一種同位視覺傳感的數(shù)據(jù)，精準(zhǔn)識別物體的視覺和觸覺特性 。該抓手設(shè)計展現(xiàn)了多項優(yōu)勢，包括兩秒內(nèi)的敏捷響應(yīng)、1,600% 的載荷比以及極大的工作空間擴展性，這使其在軟體機器人、精準(zhǔn)農(nóng)業(yè)及未來農(nóng)場領(lǐng)域具有極高價值 。系統(tǒng)集成的 13 個傳感器提供了包括顏色、大小、形狀、距離、觸碰、曲率、內(nèi)部壓力及載荷在內(nèi)的八種傳感模態(tài)，實現(xiàn)了可靠的實時測量。

文章信息：Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun (2026). 文章鏈接：https://doi.org/10.1038/s41467-026-70588-9