近日，美國(guó)專利商標(biāo)局發(fā)布了蘋(píng)果公司的一項(xiàng)延續(xù)專利申請(qǐng)，該申請(qǐng)涉及用于將用戶沉浸在由頭戴式顯示器（HMD）生成的虛擬現(xiàn)實(shí)（VR）或增強(qiáng)/混合現(xiàn)實(shí)（MR）環(huán)境中。

沉浸質(zhì)量受幾個(gè)重要因素的影響。例如顯示器的特性、圖像質(zhì)量、幀速率、像素分辨率、高動(dòng)態(tài)范圍（HDR）、持久性和紗窗效應(yīng)（即屏幕上像素之間的可見(jiàn)線條）。

現(xiàn)在業(yè)內(nèi)普遍認(rèn)為，追蹤各種元素是實(shí)現(xiàn)高端VR和MR應(yīng)用程序體驗(yàn)的基本前提。在這些元素中，頭部位置追蹤、用戶身體追蹤和環(huán)境追蹤在實(shí)現(xiàn)出色的沉浸感方面起著關(guān)鍵作用。

旨在估計(jì)環(huán)境中HMD位置和方向的頭部位置追蹤 （此后稱為位置追蹤 ）必須延遲低又準(zhǔn)確。原因是渲染的圖形必須與用戶的頭部動(dòng)作緊密匹配，才能在VR中產(chǎn)生沉浸感，并且需要在MR的真實(shí)世界中正確對(duì)齊虛擬內(nèi)容。

用戶身體追蹤用于估計(jì)用戶身體（特別是但不限于手和手指）相對(duì)于HMD的位置和方向。它可以在VR和MR中提供一種用戶輸入方式（例如手勢(shì)），從而可以與虛擬元素進(jìn)行交互。雖然某些位置追蹤方法也可以用于手部追蹤（例如，手持控制器上帶有LED陣列的IR攝像機(jī)），但其他方法則利用較小的分析空間（通常距HMD 1米以內(nèi)）來(lái)增加手和手指追蹤算法的魯棒性。

例如，近距離飛行時(shí)間（ToF）攝像機(jī)可以與HMD集成在一起。這些攝像機(jī)可以產(chǎn)生手的深度圖，從中可以構(gòu)建手的骨骼模型。另一種方法是將IR LED泛光燈與相機(jī)一起使用，以分割出并估計(jì)手和手指上的3D點(diǎn)。

蘋(píng)果的專利圖1是具有多個(gè)攝像機(jī)和紅外（IR）發(fā)射器的用戶頭戴式顯示器（HMD）的示意圖。圖2A是用于實(shí)現(xiàn)虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)的光學(xué)器件、顯示器和照相機(jī)的示例性實(shí)施例的俯視圖。

蘋(píng)果的專利圖4A示出了HMD設(shè)備的第一示例性實(shí)施例的正視圖，其中具有為pass-through目的（MR）而優(yōu)化的兩個(gè)RGB相機(jī)和為追蹤提供可視數(shù)據(jù)的兩個(gè)IR相機(jī)；圖5是通過(guò)位置和用戶身體追蹤來(lái)實(shí)現(xiàn)VR處理步驟的流程圖；圖8是實(shí)現(xiàn)用戶身體追蹤的示例性過(guò)程的流程圖，它還包括手勢(shì)識(shí)別。

作為一項(xiàng)延續(xù)專利，蘋(píng)果在發(fā)明中增加了新的專利權(quán)利要求。以下是近日發(fā)布的一些主要新增功能，重點(diǎn)放在使用紅外（IR）投影儀上。

專利權(quán)利要求＃1：一種方法，包括：在包括非暫時(shí)性存儲(chǔ)器的頭戴式設(shè)備（HMD）處，有一個(gè)或多個(gè)處理器，以及用于與第一和第二RGB立體相機(jī)進(jìn)行通信的通信接口、紅外（IR）投影儀、一個(gè)或多個(gè)紅外傳感器和一個(gè)顯示器；通過(guò)第一RGB立體攝像機(jī)獲取物理環(huán)境的第一立體圖像；通過(guò)第二RGB立體攝像機(jī)獲取物理環(huán)境的第二立體圖像；通過(guò)紅外投影儀將紅外電磁輻射的紅外圖樣投射到物理環(huán)境上；通過(guò)一個(gè)或多個(gè)IR傳感器，獲取與IR圖案的反射相關(guān)聯(lián)的物理環(huán)境的紋理信息；通過(guò)至少部分地基于紋理信息將第一立體圖像中的每個(gè)像素與第二立體圖像中的不同像素進(jìn)行匹配來(lái)生成密集深度圖；通過(guò)基于密集深度圖將虛擬內(nèi)容與第一和第二立體圖像進(jìn)行合成來(lái)生成顯示圖像，并通過(guò)顯示器顯示圖像。

專利權(quán)利要求3：根據(jù)權(quán)利要求1所述的方法，還包括：經(jīng)由所述IR投影儀根據(jù)隨機(jī)或偽隨機(jī)算法之一生成所述IR圖案。

專利權(quán)利要求＃8：根據(jù)權(quán)利要求1所述的方法，其中，所述HMD的通信接口還與一個(gè)或多個(gè)IR泛光燈通信，并且所述方法還包括：根據(jù)時(shí)間來(lái)操作所述IR投影儀和所述一個(gè)或多個(gè)IR泛光燈。

專利權(quán)利要求＃9：根據(jù)權(quán)利要求8所述的方法，還包括：實(shí)時(shí)地調(diào)制紅外投影儀和所述一個(gè)或多個(gè)紅外泛光燈的曝光時(shí)間、傳感器增益和強(qiáng)度中的至少一項(xiàng)，以降低圖像飽和度并改善動(dòng)態(tài)性能。

專利權(quán)利要求11：頭戴式設(shè)備（HMD），其包括：用于與第一和第二RGB立體相機(jī)進(jìn)行通信的通信接口、紅外（IR）投影儀、一個(gè)或多個(gè)IR傳感器以及顯示器；以及一個(gè)或多個(gè)處理器；非暫時(shí)性存儲(chǔ)器，其存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行該程序時(shí)，該程序使HMD通過(guò)第一RGB立體照相機(jī)獲得物理環(huán)境的第一立體圖像；以及通過(guò)第二RGB立體攝像機(jī)獲取物理環(huán)境的第二立體圖像；通過(guò)紅外投影儀將紅外電磁輻射的紅外圖樣投射到物理環(huán)境上；通過(guò)一個(gè)或多個(gè)IR傳感器，獲取與IR圖案的反射相關(guān)聯(lián)的物理環(huán)境的紋理信息；通過(guò)至少部分地基于紋理信息將第一立體圖像中的每個(gè)像素與第二立體圖像中的不同像素進(jìn)行匹配來(lái)生成密集深度圖；通過(guò)基于密集深度圖將虛擬內(nèi)容與第一和第二立體圖像進(jìn)行合成來(lái)生成顯示圖像；并通過(guò)顯示器顯示圖像。
責(zé)任編輯人：CC