CMU的Zachary Lipton認(rèn)為，NeurIPS、ICML等頂會正逐漸被行業(yè)侵蝕，變得不再像學(xué)術(shù)會議，而成了行業(yè)貿(mào)易展，長此以往，會將不會！應(yīng)該立即采取行動，鞏固會議學(xué)術(shù)性質(zhì)，如果非學(xué)者搶到票而學(xué)者卻無法參會，這種會議就該降級！

2018年的 NeurIPS 參會人數(shù)多少？

超過 8000？可喜可賀——才不是！

出去刷個牙回來就沒了票，研究人員想?yún)⒓訁⒓硬涣?，看熱鬧的外行人倒是擠來一堆。Poster Session 熙熙攘攘，但真正在談?wù)撐牡娜藚s沒有幾個。Expo 行業(yè)展廳花枝招攬，企業(yè)酒會觥籌交錯……

是的，這就是現(xiàn)如今的人工智能頂會，以 NeurIPS、ICML 為代表，參會人數(shù)越來越多，看似氣氛越來越火，連贊助商捧著給錢都要搶名額。

與此同時，會議的學(xué)術(shù)味卻越來越淡，真心搞研究的人都不想來參會了。

CMU助理教授 Zachary C. Lipton 參加完今年 NeurIPS 后，寫下了他的真實感受：學(xué)術(shù)會議究竟應(yīng)該是什么？不知不覺間，計算機(jī)科學(xué)領(lǐng)域的學(xué)術(shù)會議已被商業(yè)公司侵占；參會人數(shù)和提交論文的數(shù)量并不能說明領(lǐng)域研究的真實發(fā)展情況，火熱的氣氛并不代表研究的突破。

把學(xué)術(shù)會議商業(yè)化容易，但反過來去很難。如果再不趕緊采取措施，遴選并發(fā)表業(yè)內(nèi)最新研究的會議將成為各大公司花樣挖人的場所，NeurIPS、ICML 等人工智能領(lǐng)域的學(xué)術(shù)頂會將變成 CES 般的行業(yè)貿(mào)易展。

作為研究者，Lipton 呼吁：趁還來得及，還學(xué)術(shù)會議一個本來的面貌吧！

Lipton 從“會議”的涵義講起，最終落腳到如何扭轉(zhuǎn)現(xiàn)狀，文章不短，但肯定說出了很多研究人員的心聲。

你有沒有想過，“會議”究竟指什么？

“會議”是指什么？一般的定義對這個詞只提供了一個模糊的概述：“兩人或兩人以上開會討論共同關(guān)心的問題”(韋氏詞典a)；“通常是正式的意見交流”(韋氏詞典b)；“正式的討論會”(谷歌a)。

怎樣才是會議？所有地方的所有集會都是會議嗎？會議需要有多正式？會議的邊界必須達(dá)成一致嗎？需要指定名稱嗎？什么算是討論？一次會議可以容納多少討論？什么是分會議?

NeurIPS 2018大會，一排屏幕讓人難以確定演講者到底站在哪里。來源見原文。

沒有上下文，這個詞就近乎空洞。然而，在專業(yè)領(lǐng)域，例如在計算機(jī)科學(xué)背景中，這個詞被賦予了精確的含義。谷歌還提供了一個更通俗的定義：

通常會持續(xù)幾天的正式會議，參會者是有共同興趣的人，尤其指由一個協(xié)會或組織定期舉辦的會議。

然而，這個定義也太模糊了，它同樣適用于公司會議、貿(mào)易展覽、研討會和出版會議。它既涵蓋國際機(jī)器學(xué)習(xí)會議ICML，也可以指動漫展。

漫展

CS 學(xué)術(shù)會議變質(zhì)了

甚至在學(xué)術(shù)界，這個詞的含義也大相徑庭，不同領(lǐng)域的學(xué)者在說“會議”的時候，經(jīng)常是相互無法理解的。比如，在醫(yī)學(xué)專業(yè)人士中，“會議”是交流和繼續(xù)教育的論壇。

作為一名生活在經(jīng)濟(jì)學(xué)家和商界人士中的計算機(jī)科學(xué)家，我發(fā)現(xiàn)，對我的同事們來說，“會議”是傳播研究、交流、教學(xué)和招聘的論壇。在展示論文時，它們是要在拓展論文摘要的基礎(chǔ)上被審查的。它們確切地說是計算機(jī)科學(xué)家所稱的“研討會”(workshop)。

在更廣泛的計算機(jī)技術(shù)行業(yè)中，“會議”往往意味著“貿(mào)易展”(trade shows)。其中最著名的CES, Amazon re: Invent，Google I/O, O 'Reilly Strata等會議擁有龐大、廣泛、主動參會的受眾。除注冊費(fèi)外，不設(shè)任何資格。它們是商業(yè)和業(yè)務(wù)拓展的專業(yè)聚會。雖然與會者和演講者宣揚(yáng)創(chuàng)新和顛覆，但處于中心位置的創(chuàng)新和顛覆是產(chǎn)品和商業(yè)模式，而不是人類知識前沿的進(jìn)步。學(xué)者們可能會發(fā)言，但只是為了把研究講得淺顯。

在計算機(jī)科學(xué)中，會議的形式和安排與其他學(xué)術(shù)領(lǐng)域的會議相同。學(xué)者們與工業(yè)界的同行分享主題。然而，在計算機(jī)科學(xué)中，會議的假定意義又有了新的意義。頂級會議的主要功能是作為該領(lǐng)域的主要學(xué)術(shù)成果發(fā)表場所。

最重要的會議籌備包括在開會前幾個月開展同行評審過程 (NeurIPS的評審過程提前8個月)。主會實際上是唯一重要的，每次會議最受關(guān)注的是該年發(fā)表的論文的介紹和認(rèn)可。這些場所的存在是為了促進(jìn)知識進(jìn)步，其次才是專業(yè)發(fā)展，作為達(dá)到這一目的的一種手段。

學(xué)術(shù)界和技術(shù)界在會議的具體構(gòu)成上存在著巨大的分歧。但是，在計算機(jī)科學(xué)會議的實踐和組織中，我們很少需要問——什么是CS會議？它的目的是什么？誰應(yīng)該來參會？會上應(yīng)該進(jìn)行什么活動？這些問題一直都有既定的答案，因此從不需要回答。

誰會來？那些總是來的人。他們?yōu)槭裁磥恚繛榱藖碚故舅麄兊淖钚伦髌?，并觀看其他人展示他們的最新作品。應(yīng)該進(jìn)行哪些活動？吃東西，聽演講，吃東西，展示海報，吃東西……具體細(xì)節(jié)是由組織者決定的。有些會議有更好的食物。有些有更好的演講。但是，會議的本質(zhì)很少需要考慮。

由于一直以來不需要提出這樣的問題，ML社區(qū)對最近的轉(zhuǎn)變感到驚訝。雖然我們繼續(xù)提供自由注冊，但參會人員的構(gòu)成和目的已經(jīng)發(fā)生了變化。隨著贊助攤位從2013年的特設(shè)折疊桌發(fā)展到展覽大廳里的大型裝置，我們只是租用了更大的房間，然后收取更高的贊助費(fèi)。

會議門票一年比一年更快售罄，我們不得不承認(rèn)，手慢就無法出席，甚至是核心研究團(tuán)體中的人 (被接收論文的作者除外) 也不會出席。

在計算機(jī)科學(xué)領(lǐng)域我們不習(xí)慣問“什么是會議”，但我們突然發(fā)現(xiàn)這些會議發(fā)生了變化，卻不清楚是誰 (如果有人) 決定了這種變化。

短短幾年，NeurIPS畫風(fēng)突變

我開始接觸NeurIPS是在2013年，當(dāng)時我是一年級博士生。那時會議已經(jīng)在迅速發(fā)展，我遇到的幾乎每一個人都在從事這一領(lǐng)域的學(xué)術(shù)工作。贊助商部分只有不到10張折疊式辦公桌，分別屬于亞馬遜、谷歌、微軟研究院、Facebook和Skytree。

這些公司似乎主要關(guān)注招聘研究實習(xí)生。扎克伯格好像出現(xiàn)在一場現(xiàn)場的私人活動上，引來了人們圍觀。

主要會議的參會人數(shù)變化。(來源: AI Index報告)

兩年后，我參加了在蒙特利爾舉行的NeurIPS 2015會議，雖然會議規(guī)模有了很大的增長，但絕大多數(shù)與會者仍然是活躍的研究人員?？梢哉f，增長更多地歸功于規(guī)模，而非事件性質(zhì)的根本性轉(zhuǎn)變。

作為會議增長的一個征兆，一半的聽眾不得不在自助早餐室觀看大會特邀報告，而自助早餐室的面積增加了一倍，成為一個爆滿的觀看區(qū)。早期跡象不僅是規(guī)模增大，性質(zhì)也在發(fā)生變化，贊助商攤位早已成為大會的一大特點(diǎn)，而且非官方的聚會開始主導(dǎo)會后的社交活動。

隨著這一變化而來的是免費(fèi)飲料和無限享用的點(diǎn)心，但這也對會議作為一個純粹交流意見的場所的作用構(gòu)成了威脅。聚會已經(jīng)人為地劃分了社會結(jié)構(gòu)。如果沒有有意識地反對聚會文化，那么你在任何一個晚上看到的究竟是誰，首先取決于誰被邀請參加同一個聚會。那年，我在微軟研究實驗室舉辦的一次聚會上遇到了一位未來的研究導(dǎo)師。我們一邊談話一邊走到另一個由DeepMind主持的論壇上，但由于我們只有一個人在DeepMind的邀請名單上，談話不得不中斷。

然而，在那個時候，所有想要參加的學(xué)者至少都可以注冊(只要資金允許)。

從“會議”到“馬戲團(tuán)”

第二年夏天，我的論文合著者David Kale邀請我在O'Reilly的Strata+Hadoop World大會上發(fā)表演講，這是一個大型的行業(yè)會議。雖然ML社區(qū)的成員可能已經(jīng)開始抱怨NeurIPS變得越來越怪異，但在Strata這個會上，我看到了一個名副其實的馬戲團(tuán)。

聽眾們的身份包括經(jīng)理、開發(fā)人員、銷售人員、解決方案架構(gòu)師、營銷人員和投資者。大多數(shù)談話都是些時髦的詞。大多數(shù)演講的技術(shù)深度還不如一份新聞稿。NeurIPS的贊助間里有大量的t恤和小禮物，看起來有些多余，但在Strata，這樣的東西占據(jù)了一整層樓。NeurIPS的贊助攤位雖然有些古怪。但在Strata，展覽室是會議的核心。公司的代表們在泡沫塑料搭建的展室里尋找銷售機(jī)會。霓虹燈和高分辨率顯示器是標(biāo)準(zhǔn)配置。

第一次，研究人員被拒絕參加學(xué)術(shù)頂會

僅僅兩年后，在NeurIPS 2017(加州長灘)的前期，研究人員驚訝地發(fā)現(xiàn)，甚至在研討會論文的接收結(jié)果公布之前，注冊(越來越多地稱為“門票”)就已經(jīng)售罄。雖然一些已被接受的研討會論文的作者最終獲得了額外的名額，但并非所有論文的作者都能參加。

也許是第一次，研究論文的作者(除第一作者外)被拒絕參加會議，而優(yōu)先考慮的是一大批非學(xué)術(shù)界人士——招聘人員、經(jīng)理、投資者、開發(fā)人員和記者——僅僅因為他們搶票反應(yīng)更快。

受這一荒謬現(xiàn)象的啟發(fā)，我在不久后寫了一篇諷刺文章，宣稱ICML甚至在征稿通知公布之前就已經(jīng)售罄。雖然歸類為諷刺，但許多已經(jīng)習(xí)慣這個領(lǐng)域的怪異現(xiàn)象的讀者還是以為是真事。這篇文章被一些AI通訊(包括紐約大學(xué)官方的數(shù)據(jù)科學(xué)通訊)轉(zhuǎn)載并作為新聞傳播。一些ICML的組織者誠懇地要求我撤掉這篇文章，他們擔(dān)心，盡管這篇文章帶有明顯的諷刺意味，但卻讓潛在的與會者感到痛苦。他們并不贊同我的觀點(diǎn)，即這就是諷刺作品的根本目的，促使讀者意識到現(xiàn)實已經(jīng)如此地走向荒謬。

今年，從12月3日到8日，有8000名研究人員注冊參加了2018年的NeurIPS大會。同樣，由于供不應(yīng)求，參會人經(jīng)過了審查。

供需不平衡很嚴(yán)重，以至于會議門票在12分鐘內(nèi)售罄了。

也許這是第一次，大多數(shù)沒有(任何)會議論文、沒有第一作者研討會論文或在社區(qū)中沒有高級地位的研究人員不能參加這個會議。一些初級作者拼湊出了研討會提交的材料，不是為了學(xué)術(shù)興趣，而是為了獲得一張彩票，這張彩票可能有40-50%的概率成為一個注冊機(jī)會。然而，由于許多研究人員在觀望，25%的空座中有許多被旁觀者搶購一空。

今年，我第一次發(fā)現(xiàn)在大廳里的研究人員比前一年要少。這可能是由于研究人員被拒絕入場，研究人員選擇不參加這次會議，以及參加會議的人數(shù)更多。許多受邀的演講，雖然還算吸引人，但卻相當(dāng)大眾化，因此應(yīng)該會在TED上很受歡迎。在我看來，這次會議的性質(zhì)明顯地偏離了研究。

雖然NeurIPS在包容性上邁進(jìn)了一大步——機(jī)器學(xué)習(xí)領(lǐng)域的女性和黑人依然是本次會議的亮點(diǎn)——但在傳統(tǒng)上沒有人需要擔(dān)心的維度上卻出現(xiàn)了巨大的缺陷。會議努力確保研究界本身的參與。隨著容量的限制和注冊量的增加，注冊變成了一個零和游戲。

參會人數(shù)多不代表研究做得好；學(xué)術(shù)會議該把學(xué)者聚在一起

那些死氣沉沉的報道，媒體的也好，圈內(nèi)人寫的也罷，比如AI Index 2018，通過參會人數(shù)、提交論文數(shù)量、投資額等數(shù)據(jù)來粗略總結(jié)人工智能領(lǐng)域的發(fā)展。這些統(tǒng)計數(shù)據(jù)是很好，表明 AI 在發(fā)展，但其本身毫無意義。會議是什么，論文代表什么，AI 界同仁實際在做什么，都在抽取這些指標(biāo)的過程中丟失了，從這些指標(biāo)里完全看不出來研究的真實情況。

我們應(yīng)該把互聯(lián)網(wǎng)時代的新聞視為一個警示故事。隨著消費(fèi)者轉(zhuǎn)向單點(diǎn)消費(fèi)模式，我們突然之間就能跟蹤和觀察代表“成功”的量化指標(biāo)（比如點(diǎn)擊次數(shù)、印象數(shù)、粉絲數(shù)），新聞媒體的特征在迅速變化。

在追求這些短視數(shù)據(jù)指標(biāo)的過程中，我們喪失了對新聞報道本質(zhì)的理解。如今，單看衡量網(wǎng)絡(luò)內(nèi)容“成功”的關(guān)鍵指標(biāo)，分不出來其內(nèi)容是新聞還是色情，正如我們對人工智能領(lǐng)域發(fā)展和成功的衡量標(biāo)準(zhǔn)無法區(qū)分機(jī)器學(xué)習(xí)和行業(yè)貿(mào)易展一樣。

學(xué)術(shù)會議在突然之間就變成了貿(mào)易展覽會，這應(yīng)該引發(fā) AI 領(lǐng)域所有成員的警惕，并確保立即采取行動，鞏固學(xué)術(shù)會議應(yīng)有的性質(zhì)——最重要的是將學(xué)界的人聚集在一起。

一個積極好學(xué)的博士生，不應(yīng)該因為有外行人參展而被拒之門外。就連那些可以參會的人，如今學(xué)術(shù)會議的變味也讓他們中越來越多的研究人員不去參會，而是選擇將他們的時間分配給更小、更學(xué)術(shù)的小型論壇。

我們應(yīng)該組建一個最高級別的工作組來關(guān)注這一事件，并且設(shè)定一個獎懲機(jī)制，當(dāng)論文的第二、第三、第四作者無法參加一個展示自己工作的專業(yè)會議，而成百上千的非學(xué)者卻搶得門票時，堅決給這種會議降級。

再不采取措施就來不及了！

在 NeurIPS 和 ICML 被這股洶涌的洪流沖刷成行業(yè)貿(mào)易展的平灘之前，在本應(yīng)必須出席的 poster session 不可逆地轉(zhuǎn)變?yōu)樯缃粓鏊?，我們只有非常有限的時間來采取措施，增強(qiáng)這些會議的學(xué)術(shù)性，將其還給學(xué)界，還原成研究者的聚會場所。

那么，我們現(xiàn)在可以做什么？這里有一些建議：

1、設(shè)定兩個月僅對學(xué)界開放的注冊期限

在會議開放注冊后的 2 個月，只允許學(xué)者注冊。這里的“學(xué)者”，可以是現(xiàn)在的學(xué)生和老師，也可以是過去論文的作者，這段時間應(yīng)該一直到持續(xù)到確定會上將舉辦哪些 workshop 為止。

2、決定 NeurIPS（哪些部分）對外公開

今年的會議對媒體處理不當(dāng)：媒體被禁止參加 workshop，搞得好像 NeurIPS 是什么高端機(jī)密大會一樣，不是的！這是因為會務(wù)組沒有意識到，今年的會議已經(jīng)成了一場公共活動。

簡而言之，會議的每個部分都必須是明確是面向公眾的還是僅面向?qū)W者的。向公眾開放的部分也必須向記者開放。如果我們對記者參會都不滿意，那為什么我們不介意跟公司高管坐在一起講論文呢？

3、縮小或者放低 Expo 展覽的規(guī)模

展示行業(yè)相關(guān)內(nèi)容的 Expo 大廳把人們對學(xué)術(shù)的大部分注意力都吸引過了。展廳里擺滿了免費(fèi)的小玩意，免費(fèi)的食物，舒適的座位，還有花費(fèi)數(shù)百萬美元搭建的景觀?？茖W(xué)講座和 poster 沒辦法跟 CES 式的豪華展廳相競爭，也不應(yīng)該跟這種展廳競爭。

一個可行的方法或許是，在某些日子或特定時間關(guān)閉 Expo 展廳。相比之下，今年的 EMNLP 就要好得多。休息的時候，人們會在展會廳里聚一起談東談西，但大多數(shù)的學(xué)術(shù)講座他們（包括公司代表）都參加了。

4、改革贊助商活動，向所有研究人員開放：

公司想在會議上招賢納士的想法是完全合情合理的。在每天的會議結(jié)束后和 after hour 時間段公司想要做什么，也不是會務(wù)組能管得了的。但是，或許可以讓贊助商簽一份協(xié)議，改變他們的活動內(nèi)容（可能需要共同努力），將所有的研究人員都納入進(jìn)來。

當(dāng)前的情況是，這些 party 上聚滿了有人脈的人（無論學(xué)科）、潛力股或好苗子（優(yōu)秀且有些名氣的博士生和初級研究員），還有知名的研究人員。

但是，最應(yīng)該從這些活動中受益的人，最應(yīng)該通過這些活動結(jié)識潛在雇主、顧問和導(dǎo)師的年輕研究人員卻被排除在外。