為了設計一部最佳的預告片、給新電影帶來最佳宣傳效果，美國電影公司20世紀?？怂闺娪爸破瑥S的研究人員開發(fā)了一種深度學習模型，根據(jù)電影預告片來預測哪些觀眾最有可能看這部電影。

簡單地說，這一系統(tǒng)提取了顏色、光線、面部、物體、風景等特征，對現(xiàn)有電影觀眾的預測達到了較高精確度，同時也在即將上映的電影上做了測試。公司表示，將深度學習應用到對觀眾的預測上，這在電影制片領域還是首次。

在論文中，?？怂沟难芯空弑硎荆骸皩π律嫌车碾娪皝碚f，預告片是宣傳中最重要的因素。好的預告片會提升新電影在影迷中的知名度，成為更多的人討論的話題，曝光主演，透露影片的主要劇情以及基調?！?/p>

研究人員在訓練卷積神經(jīng)網(wǎng)絡時，在谷歌云上使用了NVIDIA Tesla P100 GPU以及經(jīng)過cuDNN加速的TensorFlow框架，數(shù)據(jù)集是上百部近幾年的電影預告片以及觀影人數(shù)統(tǒng)計。

研究人員表示：“通過為這些特征找到合適的表示，以及在將這些特征輸入到經(jīng)過歷年電影數(shù)據(jù)訓練過的模型上后，它通常能發(fā)現(xiàn)電影預告片和上映后預期的觀眾之間有價值的聯(lián)系?！?/p>

這樣一來，神經(jīng)網(wǎng)絡可以幫助電影制作方和行者人員在不同的宣傳階段做出實際決策。以下是論智對論文的大致編譯，感興趣的朋友可以根據(jù)文末連接查看原論文。

摘要

在各大電影制片廠中，對觀眾的估計一直是一項重要活動。現(xiàn)在隨著技術的發(fā)展，我們可以使用卷積網(wǎng)絡的深度模型提取電影預告片中每幀的特征，然后對其進行合理預測。我們用視頻表示訓練混合協(xié)同過濾模型，訓練出的模型不僅能精準預測觀眾的觀影概率，還能成功地在六至八個月之前就對新電影制作合適的預告片。

模型概覽

Merlin Video的混合推薦模型大致結構。一個邏輯回歸層將一個基于距離的CF模型和用戶看電影的頻率和相關性結合起來，生成看新電影的概率。模型是以端到端的形式訓練的，邏輯回歸的損失函數(shù)是經(jīng)過反向傳播到所有訓練因素中的

我們對每部電影都從他的預告片中創(chuàng)建一個視頻向量。然后一個多層感知器（MLP）經(jīng)過訓練后可以將視頻向量映射到新的嵌入空間。該空間中既有電影也有用戶，其中的每個用戶都由一個用戶向量表示，該向量結合了觀眾的是否觀看了電影以及基本信息。而基于距離的混合CF框架用來估計用戶和電影之間的相關性，并對他們之間的距離進行編碼。最后，一個經(jīng)過訓練的邏輯回歸層會將電影和用戶之間的距離與用戶是否最終觀看了電影進行結合，輸出最終用戶會看電影的概率。

為了讓信息高效地流通，整個模型以端到端的形式訓練，也就是說，邏輯回歸中的損失被反向傳播到模型中每個可訓練的元素上。

性能評估

我們將Merlin Video模型與此前基于情節(jié)的模型進行了對比，另外還包括Recency-Frequency模型（RF）、Probabilistic Matrix Factorization（PMF）以及Collaborative Deep Learning模型（CDL）。

我們用曲線下面積（AUC）作為評估指標，注意，由于Merlin Video的目標是分辨會去看電影的是哪類觀眾，并為電影制作提供見解，所以那些常用的排名指標，例如Top-k召回，在這里不使用。結果如下：

可以看出，我們之前研發(fā)的模型Merlin Text相較于其他方法都有優(yōu)勢，CDL在所有基于文字的算法中表現(xiàn)得最好，而RF模型盡管很簡潔，同樣在冷啟動的場景中表現(xiàn)出了不錯的競爭力。

另外，結果還表明，Merlin Video使用了向量后同樣在in-matrix環(huán)境中表現(xiàn)得不錯，但是與其他方法的差別不大。

為了評估Merlin Video對觀眾的預測是否準確，當電影一上映，我們就開始對比實際觀眾名單和預測名單。下圖展示了預測和實際名單的對比，以2017年的電影《馬戲之王（The Greatest Showman）》為例。

高亮出的電影是我們之前準確預測到的電影，從表格中可以看到，第一行基于情節(jié)的預測和第二行基于預告片的預測非常不同。例如，根據(jù)基于預告片的預測，看過電影《隱藏人物（Hidden Figures）》的觀眾非常有可能去看《馬戲之王》，但是在基于情節(jié)的預測上卻并非如此。但是，兩種方法之間又有相似點，例如二者都認為看過電影《美女與野獸（Beauty and the Beast）》的觀眾就可用可能去看《馬戲之王》。

結語

我們的結果是基于平均池化的視頻特征，這些特征直接輸入到協(xié)同過濾網(wǎng)絡中。雖然這需要對模型進行訓練，但是平均池化框架會造成嚴重的時態(tài)信息損失。另外，基于文本和視頻的兩種模型都能生成高質量的預測，但是種類有所不同，這也表明它們可能反應的是電影的不同方面。我們現(xiàn)在正探索能夠將文字情節(jié)數(shù)據(jù)和各幀的特征結合起來的方法，從而創(chuàng)建能更好反映視頻內容的向量。