我們研究視頻到視頻的合成問(wèn)題，其目的是學(xué)習(xí)從輸入源視頻（例如，一系列語(yǔ)義分割掩碼）到精確描述源視頻內(nèi)容的輸出真實(shí)感視頻的映射功能。

雖然它的圖像對(duì)應(yīng)物（圖像到圖像合成問(wèn)題）是一個(gè)受歡迎的話題，但是視頻到視頻合成問(wèn)題在文獻(xiàn)中很少探討。在不了解時(shí)間動(dòng)態(tài)的情況下，將現(xiàn)有的圖像合成方法直接應(yīng)用于輸入視頻通常會(huì)導(dǎo)致視覺(jué)質(zhì)量低下的時(shí)間不連貫視頻。

在本文中，我們提出了一種在生成對(duì)抗性學(xué)習(xí)框架下的新穎的視頻合成方法。通過(guò)精心設(shè)計(jì)的生成器和鑒別器架構(gòu)以及時(shí)空對(duì)抗目標(biāo)，我們可以通過(guò)多種輸入格式（包括分割蒙版，草圖和姿勢(shì)）獲得高分辨率，逼真的，時(shí)間上連貫的視頻結(jié)果。在多個(gè)基準(zhǔn)上進(jìn)行的實(shí)驗(yàn)表明，與強(qiáng)基準(zhǔn)相比，我們的方法具有優(yōu)勢(shì)。

尤其是，我們的模型能夠合成長(zhǎng)達(dá)30秒的街道場(chǎng)景的2K分辨率視頻，從而大大提高了視頻合成的最新水平。最后，我們將我們的方法應(yīng)用于未來(lái)的視頻預(yù)測(cè)，其性能超過(guò)了幾個(gè)最先進(jìn)的競(jìng)爭(zhēng)系統(tǒng)。

我們的模型能夠合成長(zhǎng)達(dá)30秒的街道場(chǎng)景的2K分辨率視頻，從而大大提高了視頻合成的最新水平。最后，我們將我們的方法應(yīng)用于未來(lái)的視頻預(yù)測(cè)，其性能超過(guò)了幾個(gè)最先進(jìn)的競(jìng)爭(zhēng)系統(tǒng)。

我們的模型能夠合成長(zhǎng)達(dá)30秒的街道場(chǎng)景的2K分辨率視頻，從而大大提高了視頻合成的最新水平。最后，我們將我們的方法應(yīng)用于未來(lái)的視頻預(yù)測(cè)，其性能超過(guò)了幾個(gè)最先進(jìn)的競(jìng)爭(zhēng)系統(tǒng)。