如果照片中的人忽然走出來(lái)和你擁抱，你會(huì)作何反應(yīng)？華盛頓大學(xué)的研究人員重現(xiàn)了只存在《哈利波特》電影中的神奇場(chǎng)景，他們成功“喚醒”了照片，讓畫(huà)中人走出了相框，踏入了現(xiàn)實(shí)！

在系列電影《哈利波特》中，經(jīng)?？梢钥吹竭@樣的場(chǎng)景，形形色色的人可以自由地從現(xiàn)實(shí)世界走進(jìn)畫(huà)中，也能從畫(huà)中走出來(lái)?，F(xiàn)在，華盛頓大學(xué)的計(jì)算機(jī)科學(xué)家們將這種魔法般的場(chǎng)景帶到了現(xiàn)實(shí)中。

這個(gè)算法名為“照片喚醒”，可以從二維照片或藝術(shù)作品中提取出人物，讓他們動(dòng)起來(lái)，跑到畫(huà)框之外。人們還可以使用增強(qiáng)現(xiàn)實(shí)工具觀看生成的3D動(dòng)畫(huà)。研究人員將在6月19日舉行的CVPR 2019上展示這個(gè)成果。本研究論文的預(yù)印本去年12月在ArXiv上發(fā)布，引起了媒體的廣泛關(guān)注。

“這是計(jì)算機(jī)視覺(jué)中一個(gè)非常困難的根本問(wèn)題，”論文共同作者、威斯康星大學(xué)的Paul G.Allen和計(jì)算機(jī)科學(xué)與工程學(xué)院副教授Ira Kemelmacher-Shlizerman說(shuō)。 “其中的一大挑戰(zhàn)是輸入數(shù)據(jù)只來(lái)自一個(gè)攝像頭，因此畫(huà)中人物的一部分是看不見(jiàn)的。我們的研究將這個(gè)開(kāi)放性問(wèn)題上取得的技術(shù)進(jìn)步與藝術(shù)創(chuàng)意的可視化結(jié)合起來(lái)?！?/p>

以前，研究人員認(rèn)為只用一張照片制作一個(gè)人的動(dòng)畫(huà)是不可能實(shí)現(xiàn)的。

“以前的一些研究試圖從多個(gè)視角創(chuàng)建一個(gè)3D角色，”艾倫學(xué)院教授，論文共同作者Brian Curless說(shuō)。 “但仍然無(wú)法讓人物活生生地動(dòng)起來(lái)，無(wú)法讓他們跑出一個(gè)場(chǎng)景之外，無(wú)法將AR帶入其中。這次只用一張照片就能得到一些令人眼前一亮的結(jié)果，這真的是個(gè)驚喜?！?/p>

研究人員表示，照片喚醒技術(shù)的可以應(yīng)用在多個(gè)領(lǐng)域。比如可以為游戲玩家以新的方式打造和自己非常相似的3D形象。藝術(shù)館中的游客可以與館中的繪畫(huà)作品展開(kāi)前所未有的互動(dòng)——比如坐下來(lái)，與蒙娜麗莎喝杯茶，或者讓孩子們的畫(huà)作中的人走出來(lái)。論文中給出了幾個(gè)例子，比如金州勇士隊(duì)的庫(kù)里就從照片中的籃球場(chǎng)上跑了出來(lái)。

球場(chǎng)上的斯蒂芬·庫(kù)里跑向照片外

為了使這種“魔法”成為現(xiàn)實(shí)，研究人員首先識(shí)別照片中的人物，并制作身體輪廓的面具。從那里，然后將3D模型與受試者的身體部位進(jìn)行匹配。接下來(lái)的一步由算法完成：為了使模型的輪廓和形變情況看起來(lái)和照片中的人更加相似，會(huì)將3D的人模型再投射回2D平面上。

“我們很難精確地操控3D模型，”共同作者艾倫學(xué)院的博士生Chung-Yi Weng說(shuō)道。 “也許能夠?qū)崿F(xiàn)粗略地控制，但是當(dāng)為角色設(shè)置動(dòng)畫(huà)時(shí)，任何偏差和錯(cuò)誤都會(huì)表現(xiàn)的很顯眼。所以我們必須找到一種完美的處理方法，這在2D環(huán)境中更容易實(shí)現(xiàn)。”

畫(huà)家馬蒂斯的作品“伊卡洛斯”（1944）

"照片喚醒"服務(wù)會(huì)存儲(chǔ)每個(gè)像素的3D信息：包括距離攝像頭或藝術(shù)家的距離，以及人的關(guān)節(jié)的連接形式和細(xì)節(jié)。在對(duì)模板進(jìn)行3D調(diào)節(jié)，成功匹配真人的姿勢(shì)和形狀之后，算法就會(huì)在紋理背景上粘貼。算法還通過(guò)來(lái)自圖像和3D模板的信息生成人的背部模型。然后利用工具將前后兩側(cè)接合在一起，形成一個(gè)能夠轉(zhuǎn)身活動(dòng)的3D模型。

在3D形象生成完畢之后，需要由算法來(lái)設(shè)置并填充背景，確保背景中不留下空白區(qū)域部分。算法會(huì)借用圖像中其他部分的信息填充模型后方的空白背景部分。

“照片喚醒”服務(wù)還允許用戶使用AR工具以三維方式觀看動(dòng)畫(huà)

目前，對(duì)于人物面向前方的藝術(shù)作品，本服務(wù)生成3D模型時(shí)最為得心應(yīng)手，可以為真實(shí)人物的藝術(shù)作品和照片生成動(dòng)畫(huà)形象，對(duì)于一些身體被手臂遮擋的照片也可以處理，但目前還不能很好地處理雙腿交叉等復(fù)雜姿勢(shì)，以及身體大部分被遮擋的照片。

論文第一作者翁仲義（Chung-Yi Weng）表示，這是一種與照片實(shí)現(xiàn)3D互動(dòng)的新方式，目前還遠(yuǎn)遠(yuǎn)算不上萬(wàn)能，但這可能是朝這個(gè)方向邁進(jìn)的第一步。