前幾日發(fā)布的Oculus Go主打經(jīng)濟(jì)實(shí)惠性?xún)r(jià)比，低配版僅千把出頭的售價(jià)也讓他成為了名副其實(shí)的“千元機(jī)”。但是Oculus Go僅支持手部三維自由度，帶上Oculus Go的我們也只能在原地“站樁輸出”，無(wú)法展示自己靈活的手法，沉浸感是大打折扣。

和大部分VR顯示器一樣，Oculus Go不具備6Dof追蹤的原因是出于成本考量，倘若Oculus Go實(shí)惠的售價(jià)再配上6Dof不菲的成本，恐怕廠商是要血虧一波。

截至目前位置6Dof仍然是是高端頭顯的特有功能，然而最近谷歌研究的低成本內(nèi)向外6Dof VR控制器追蹤系統(tǒng)可能會(huì)令6Dof頭顯搭配6Dof控制器以更實(shí)惠的價(jià)格走入尋常百姓家。

正如谷歌所說(shuō)，許多頭顯缺乏6Dof控制跟蹤器的原因就在于硬件成本、計(jì)算成本以及遮擋問(wèn)題。倘若解決如上三個(gè)問(wèn)題，便能夠降低成本，普及技術(shù)。

為了解決其中的遮擋問(wèn)題，谷歌采用了利用一對(duì)立體單色魚(yú)眼相機(jī)跟蹤用戶(hù)的手臂的辦法，確定控制器在圖像中的位置，簡(jiǎn)化系統(tǒng)。

“用戶(hù)的雙手和手臂為控制器在圖像中的位置提供了很好的參考，”Google研究人員寫(xiě)道，

“即使控制器被手遮擋住，也可以通過(guò)對(duì)手部輪廓圖像的分析得到控制器的位置。而且除了基于標(biāo)準(zhǔn)IMU的控制器之外，并不需要額外的硬件設(shè)備?！?/p>

簡(jiǎn)單來(lái)說(shuō)，就是通過(guò)VR頭顯攝像頭捕捉手部和手臂各式各樣的姿勢(shì)，然后用“經(jīng)驗(yàn)豐富”的軟件對(duì)這些手勢(shì)進(jìn)行識(shí)別。

為了提高識(shí)別精度，識(shí)別軟件必須訓(xùn)練有素。研究人員為了這項(xiàng)工作以無(wú)標(biāo)記6-DoF注釋控制器姿態(tài)收集了超過(guò)54萬(wàn)對(duì)立體魚(yú)眼圖像的頭顯控制器數(shù)據(jù)集。 這些6-DoF注釋都是是使用Vicon動(dòng)作捕捉系統(tǒng)自動(dòng)收集的，具有亞毫米級(jí)的高精度。以此來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，檢測(cè)圖像，并且推斷控制器的位置。

在從數(shù)據(jù)集中學(xué)習(xí)之后，該算法可以通過(guò)實(shí)時(shí)反饋的圖像”猜測(cè)“控制器的位置，來(lái)自控制器的IMU數(shù)據(jù)與算法的位置確定也將提高它猜測(cè)的準(zhǔn)確性。

這個(gè)數(shù)據(jù)集涵蓋了多種用戶(hù)群和具有挑戰(zhàn)性的環(huán)境，就目前來(lái)看，應(yīng)該是同類(lèi)型中最大的數(shù)據(jù)集。研究人員已經(jīng)證明，他們的的SSD-AF-Stereo3D模型在數(shù)據(jù)集的3D關(guān)鍵點(diǎn)追蹤中實(shí)現(xiàn)了33.5mm的低位置誤差。它可以以每秒30幀的速度在單個(gè)移動(dòng)CPU內(nèi)核上運(yùn)行。可以說(shuō)兼具了準(zhǔn)確性和流暢性。

隨著這個(gè)方法的進(jìn)一步改善，未來(lái)更多配備IMU控制器的頭顯將會(huì)具備這一功能，并且研究方有信心在未來(lái)將能夠支持無(wú)手動(dòng)控制器的手動(dòng)追蹤，徹底解放雙手。

實(shí)際上跟蹤控制器位置的方法在Oculus的Santa Cruz上也有用到。

Santa Cruz使用攝像頭尋找隱藏在控制器內(nèi)部的IR LED標(biāo)志，然后將標(biāo)記的形狀與已知形狀進(jìn)行比較以獲得控制器的位置。

Google拿出的方案區(qū)別在于直接追蹤用戶(hù)手臂，而不是發(fā)光標(biāo)記。以此來(lái)推斷控制器位置。

Google的該團(tuán)隊(duì)表示目前方案還有進(jìn)步空間，當(dāng)前的模式是在逐幀的基礎(chǔ)上預(yù)測(cè)位置，而不是在幀與幀之間共享信息，所以他們計(jì)劃把幀之間的插值作為下一步方向，從而顯著加快追蹤速度。