如果您看過NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在GPU技術(shù)大會的主題演講，一定會被其中提到的成果震撼，這背后離不開NVIDIA研究人員的努力。

黃仁勛在GTC 2018上披露了兩項深度學習發(fā)現(xiàn)，有可能顛覆傳統(tǒng)計算機圖形技術(shù)。兩者都可以幫助游戲開發(fā)商以更少的時間和更低的成本創(chuàng)造更豐富的游戲體驗。其中一項可以通過輕松創(chuàng)建數(shù)據(jù)，訓練車輛適應更廣泛的道路狀況、環(huán)境和地點，加速自動駕駛車輛的開發(fā)。

一直以來，NVIDIA致力于將深度學習引入計算機圖形領域以推動行業(yè)發(fā)展。這兩個研究項目正是我們的最新成果。NVIDIA的研究團隊有200多人，分布在全球11個地點，致力于推動機器學習、計算機視覺、自動駕駛汽車、機器人、圖形處理、計算機架構(gòu)以及編程系統(tǒng)等領域的前沿技術(shù)發(fā)展。

黃仁勛表示：“這個團隊的生產(chǎn)力簡直不可思議。他們橫跨整個計算領域進行基礎研究?！?/p>

這兩幅圖是同一噪聲圖像的清晰版本。左邊的去噪圖像由神經(jīng)網(wǎng)絡經(jīng)過訓練從對應的清晰圖像和噪聲圖像生成。右邊的去噪圖像由研究人員使用單純噪聲圖像訓練模型生成。

噪聲圖像清晰化

你可能不知道噪聲圖像是什么，但你可能已經(jīng)見過它了。當用攝像頭對焦光線昏暗的場景時，圖像會呈現(xiàn)顆粒、異常的彩色斑點、或像螢火蟲一樣的白色斑點。

去除圖像噪聲是很困難的，因為這個過程本身可能會受人為因素影響或使圖像更模糊。深度學習實驗可以提供解決方案，但也存在一個重要缺點：實驗需要配對的清晰圖像和噪聲圖像來訓練神經(jīng)網(wǎng)絡。

普通的AI去噪需要配對的清晰圖像和噪聲圖像。但是，對于MRI和其他醫(yī)學圖像，通常無法獲得清晰圖像。有了“噪聲到噪聲”技術(shù)，將不再需要清晰圖像。

只要有好的照片就可以去噪，但要達到理想效果也可能很難，甚至不可能達到。NVIDIA在芬蘭和瑞典的研究人員開發(fā)了一種稱為“噪聲到噪聲”(Noise2Noise) 的解決方案，解決了這個問題。

基于噪聲圖像生成清晰圖像成為可能

如何生成清晰的圖像是醫(yī)學成像檢測（如MRI）和遠程恒星或行星天文圖像中的共同問題，因為這些場景根本沒有足夠的時間和光線來拍攝清晰圖像。

時間在計算機圖形技術(shù)中也是一個問題。生成清晰的圖像數(shù)據(jù)來訓練降噪器的任務可能需要幾天或幾周的時間。

“噪聲到噪聲”看起來似乎不太可能。因為它不是基于配對的清晰圖像和噪聲圖像來訓練網(wǎng)絡，而是基于配對的噪聲圖像來訓練網(wǎng)絡，并且只需要噪聲圖像。然而，“噪聲到噪聲”產(chǎn)生的結(jié)果卻等同于或幾乎等同于老方法可實現(xiàn)的網(wǎng)絡訓練結(jié)果。

NVIDIA研究部門副總裁David Luebke表示：“我們發(fā)現(xiàn)，通過正確建立網(wǎng)絡，可以做到一些看似不可能的事情。搞清楚整個過程后，會發(fā)現(xiàn)這是一個非常令人驚喜的事情?！?/p>

通過語義操作輕松改變圖像

黃仁勛演示的第二個項目代表了構(gòu)建虛擬世界的全新方法。它利用深度學習，從繁重且高代價的游戲3D建模任務中抽離出來，并為自動駕駛汽車捕獲訓練數(shù)據(jù)。

這種被稱為“語義操作”的技術(shù)就好像樂高積木，孩子們可以搭建出任何想要的東西。

在語義操作中，用戶可以從一張帶標簽的地圖開始操作。每一個場景中的像素都相當于一張帶有標簽的藍圖，切換圖上的某些標簽就能改變圖像。還可以編輯對象的樣式，例如選擇不同類型的汽車、樹木或道路。

NVIDIA研究人員的深度學習圖像合成技術(shù)可以通過改變語義標簽輕松改變道路的外觀。

加速游戲開發(fā)

研究團隊所采用的方法依靠生成式對抗網(wǎng)絡(GAN)技術(shù)。這是一種深度學習技術(shù)，通常用于在數(shù)據(jù)匱乏時創(chuàng)建訓練數(shù)據(jù)。

雖然GAN通常難以生成逼真的高分辨率圖像，但NVIDIA研究員能夠通過改變GAN架構(gòu)使之成為可能。

目前，為了創(chuàng)建計算機游戲的虛擬環(huán)境，美術(shù)師需要數(shù)千小時的時間來創(chuàng)建和更改模型，每個游戲的花費可能高達上億美元。這些模型經(jīng)過渲染，轉(zhuǎn)換為我們在屏幕上所看到的游戲。

如果能減少所需要的工作量，游戲美術(shù)師和工作室就可以創(chuàng)建更多角色、更多故事情節(jié)和更復雜的游戲。

優(yōu)化自動駕駛汽車訓練

獲取數(shù)據(jù)訓練自動駕駛汽車同樣很麻煩。通常需要在道路上投放配備傳感器和攝像頭的車隊。汽車采集的數(shù)據(jù)必須手動標注，用于訓練自動駕駛汽車。

采用NVIDIA的方法，可以在舊金山收集數(shù)據(jù)，然后應用于另一個山地城市，例如巴塞羅那。甚至可以把一條鵝卵石街道變成一條石砌路，或者把一條林蔭大道變成停滿汽車的道路。

這樣可以更有效地訓練汽車處理不同情況。還可以開發(fā)圖形渲染引擎，用現(xiàn)實世界的數(shù)據(jù)進行訓練，并用生成模型渲染。

黃仁勛表示：“我為NVIDIA研究團隊感到驕傲。歡迎與我們一起探討，共同取得更大進步?！?/p>