DeepMind最強棋類算法AlphaZero今天以Science封面論文形式發(fā)表。David Sliver、哈薩比斯等人親自撰文解讀這一棋類終極算法，以及實現(xiàn)通用學(xué)習(xí)系統(tǒng)的重要一步。

史上最強棋類AI降臨！

今天，DeepMind的通用棋類算法，也是迄今最強的棋類AI——AlphaZero，經(jīng)過同行評議，被頂級期刊 Science 以封面論文的形式，正式引入學(xué)界和公眾的視野。

一年前，DeepMind靜靜地在arXiv貼出了AlphaZero的預(yù)印版論文，當(dāng)即就在圈內(nèi)引發(fā)轟動：AlphaZero從零開始訓(xùn)練，2小時擊敗最強將棋AI，4小時擊敗最強國際象棋AI，8小時擊敗最強圍棋AI（李世石版AlphaGo）。

現(xiàn)在，DeepMind將完整評估后的AlphaZero公之于眾，不僅驗證了上述結(jié)果，還補充了新的提升。

AlphaZero沒有使用人類知識（除了棋類基本規(guī)則），從零開始訓(xùn)練，快速掌握日本將棋、國際象棋和圍棋這三種復(fù)雜棋類游戲，展現(xiàn)出令人耳目一新的獨道風(fēng)格，拓展了人類智慧，并證明了機器擁有創(chuàng)造性的可能。

國際象棋大師卡斯帕羅夫——20年前輸給IBM深藍(lán)的國際象棋世界冠軍，今天在Science發(fā)表社論，表示他很高興看到AlphaZero展現(xiàn)出了像他一樣“動態(tài)、開放”的棋風(fēng)：

“傳統(tǒng)觀點以為，機器將通過無休止的枯燥操作趨近完美，最終導(dǎo)致平局。但據(jù)我觀察，AlphaZero優(yōu)先考慮棋子的活動而非盤面上的點數(shù)優(yōu)勢，更喜歡在我看來有風(fēng)險和激進(jìn)的地方落子。

“計算機程序通常會反映出編程者的側(cè)重和偏見，但由于AlphaZero通過自我對弈訓(xùn)練，我認(rèn)為它體現(xiàn)了棋的真諦（truth）。正是這種出色的理解使其能夠超越世界頂級的傳統(tǒng)棋類引擎，而且每秒計算的落子位置要少得多?！?/p>

AlphaZero證明了機器也能成為專家，機器生成的知識也值得人類去學(xué)習(xí)?！癆lphaZero以這樣一種強大而有用的方式超越了我們，”卡斯帕羅夫?qū)懙溃骸爸灰谔摂M知識（virtual knowledge）能夠生成的領(lǐng)域，這個模型都可能復(fù)制到任何其他任務(wù)上?！?/p>

IBM深藍(lán)的共同創(chuàng)造者之一Murray Campbell，也在Science發(fā)表評論文章，指出DeepMind論文使用通用的搜索方法，結(jié)合蒙特卡羅樹搜索（MCTS），增強了深度強化學(xué)習(xí)。

“盡管MCTS已經(jīng)成為圍棋程序中的標(biāo)準(zhǔn)搜索方法，但迄今為止，幾乎沒有證據(jù)表明它在國際象棋或?qū)⑵逯杏杏??！盋ampbell寫道：“DeepMind展示了深度強化學(xué)習(xí)與MCTS算法相結(jié)合的力量，從隨機初始化的參數(shù)開始，讓神經(jīng)網(wǎng)絡(luò)通過自我對弈不斷更新參數(shù)?！?/p>

下面，就讓我們一起來看看，AlphaZero的論文作者David Silver、Thomas Hubert、Julian Schrittwieser和Demis Hassabis親自撰文，闡述他們?nèi)绾斡?000個TPU，讓AlphaZero快速掌握將棋、國際象棋和圍棋。

用5000個TPU，快速掌握將棋、圍棋和國際象棋

傳統(tǒng)國際象棋的引擎依賴于由人類高手玩家“手工制作”的數(shù)千條規(guī)則和啟發(fā)式方法，它們都試圖解釋游戲中可能發(fā)生的每一種結(jié)果。

日本將棋程序也是特定于游戲的，使用與國際象棋程序類似的搜索引擎和算法。

AlphaZero則采用了一種完全不同的方法，用深度神經(jīng)網(wǎng)絡(luò)和通用算法取代了這些“手工制作”的規(guī)則，而這些算法對基本規(guī)則之外的游戲卻一無所知。

在國際象棋中，AlphaZero僅用了4個小時便首次超越了Stockfish；在日本將棋中，AlphaZero在2小時后首次超過Elmo；在圍棋方面，AlphaZero在2016年的比賽中，經(jīng)過30個小時的鏖戰(zhàn)，首次擊敗了傳奇棋手李世石。注：每個訓(xùn)練步驟代表了4096個落子位置。

為了學(xué)習(xí)每一個游戲，一個未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)通過強化學(xué)習(xí)與自己對打數(shù)百萬次。

一開始，它完全是隨機的，但是隨著時間的推移，系統(tǒng)從輸贏中開始學(xué)習(xí)，并根據(jù)神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整，使其在未來可以選擇更有利的走法。

網(wǎng)絡(luò)需要的訓(xùn)練量取決于游戲的風(fēng)格和復(fù)雜性，國際象棋需要9小時，將棋需要12小時，圍棋需要13天。

“AlphaZero的一些舉動，例如將王將移至棋盤中央是有違將棋理論的，從人類的角度來看，它的這些舉動似乎是將自己置于危險境地。但令人難以置信的是，它仍然控制著局面。AlphaZero獨特的游戲風(fēng)格向我們展示了將棋的新可能性。”

羽生善治，日本將棋棋士，獲得七項頭銜的“永世稱號”，亦是日本將棋史上第一個達(dá)成七冠王與“永世七冠”的人，改寫了將棋界多項歷史紀(jì)錄

訓(xùn)練后的網(wǎng)絡(luò)用于指導(dǎo)搜索算法（蒙特卡羅樹搜索，MCTS），選擇游戲中最有有利的動作。對于每次移動，AlphaZero僅搜索傳統(tǒng)國際象棋引擎所考慮的一小部分位置。

例如，在國際象棋中，它每秒僅搜索6萬個位置，相比之下，Stockfish大約有6千萬個位置。

這些經(jīng)過全面訓(xùn)練的系統(tǒng)是在國際象棋(Stockfish)和將棋(Elmo)最強大的“手工引擎”以及我們之前自學(xué)的AlphaGo Zero系統(tǒng)(已知最強大的圍棋選手)的幫助下進(jìn)行測試的。

每個程序都在它們所設(shè)計的硬件上運行。Stockfish和Elmo使用了44個CPU核，而AlphaZero和AlphaGo Zero使用了一臺擁有4個第一代TPU和44個CPU核的機器。第一代TPU在推理速度上與NVIDIA Titan V GPU等商用硬件大致相似，但架構(gòu)并不具有直接可比性。

所有的比賽都有時間控制，每場比賽3小時，外加每一步額外的15秒。

在每次評估中，AlphaZero都毫無懸念地?fù)魯×藢κ郑?/p>

在國際象棋比賽中，AlphaZero擊敗了2016年TCEC(第九季)世界冠軍Stockfish，贏得155場比賽，在1000場比賽中只輸了6場。為了驗證AlphaZero的穩(wěn)健性，我們還進(jìn)行了一系列比賽，這些比賽都是從常見的“人類開局方式”開始的。在每一種開局情況下，AlphaZero都擊敗了Stockfish。我們還與最新開發(fā)版本的Stockfish以及它的變體打過比賽，在所有的比賽中，AlphaZero都贏了。

在將棋比賽中，AlphaZero擊敗了2017年CSA世界冠軍版Elmo，贏得了91.2％的比賽。

在圍棋比賽中，AlphaZero擊敗了AlphaGo Zero，贏得了61％的比賽。

獨創(chuàng)棋風(fēng)，拓展人類智慧，邁向通用學(xué)習(xí)系統(tǒng)重要一步

然而，讓人感到最著迷的是AlphaZero的行棋風(fēng)格。例如，在國際象棋中，AlphaZero在自我訓(xùn)練中獨立發(fā)現(xiàn)并走出了人類棋手常用的定式，如開局、王不立險地（King safety）和兵的走法。

但是，由于這些都是自學(xué)的，因此不會受傳統(tǒng)觀念的影響，AlphaZero還開創(chuàng)出了自己的直覺和策略，產(chǎn)生了一系列令人興奮的新穎思路，為幾個世紀(jì)以來國際象棋戰(zhàn)略戰(zhàn)術(shù)的思考提供了有益的補充。

過去一個多世紀(jì)以來，國際象棋一直被用作衡量人類和機器認(rèn)知水平的黃金標(biāo)準(zhǔn)。 AlphaZero取得的非凡成果，刷新了這門古老的棋盤游戲和尖端科學(xué)之間的顯著聯(lián)系。

前國際象棋世界冠軍 加里·卡斯帕羅夫

在與AlphaZero對弈時，棋手注意到的第一件事就是它的行棋風(fēng)格，國際象棋大師Matthew Sadler說道，“它會懷著明確的目的和力量來瓦解對手的王”。Sadler和女子國際象棋大師Natasha Regan一起分析AlphaZero，并寫作出版了專著《Game Changer：AlphaZero的顛覆性國際象棋策略和人工智能潛力》。

AlphaZero的行棋風(fēng)格非常靈活，最大限度地提升己方子力配備的靈活性和機動性，同時最大限度地降低對手子力的靈活性和機動性。

與我們的通常想法不同的是，AlphaZero似乎對“子力”本身的重視程度較低，而重視“子力”是現(xiàn)代國際象棋的基本行棋思路，棋盤上每個子都具有價值，如果一個玩家在棋盤上的子力高于對手，那么他就擁有子力優(yōu)勢。而AlphaZero甚至愿意在棋局早期犧牲子力，以獲得長期收益。

“令人印象深刻的是，AlphaZero在行棋時能將這種風(fēng)格應(yīng)用在各種各樣的開局和定式中?！盡atthew說道，他也觀察到，AlphaZero從走第一步開始就體現(xiàn)出了這種明確的的性，且一以貫之，其風(fēng)格體現(xiàn)得非常明顯。

“過去的傳統(tǒng)國際象棋軟件已經(jīng)非常穩(wěn)定，幾乎不會出現(xiàn)明顯錯誤，但在面對沒有具體和可計算解決方案的時，其行棋會發(fā)生偏差，”他說：“正是在這種時候，才是AlphaZero發(fā)揮其'感覺'、'洞察'或'直覺'的地方?！?/p>

這種獨特的能力，在其他傳統(tǒng)的國際象棋引擎中是看不到的。目前，AlphaZero已經(jīng)被用來在世界國際象棋錦標(biāo)賽上為棋迷們提供有關(guān)Magnus Carlsen和Fabiano Caruana（現(xiàn)男子國際象棋等級分前兩名）對局的新見解和評論。

“我們可以看看AlphaZero的分析，與頂級國際象棋大師對棋局的分析，甚至和棋手實戰(zhàn)著法有何不同，這真是令人著迷的一件事。AlphaZero可以作為整個國際象棋社區(qū)的強大教學(xué)工具?！?/p>

AlphaZero的“教誨”，讓我們想起了2016年AlphaGo與圍棋世界冠軍李世乭對弈時的場景。在那次比賽中，AlphaGo走出了許多極具創(chuàng)造性的致勝著法，包括在第2局比賽中的執(zhí)黑第37手，這手棋推翻了人類數(shù)百年的思路。這些著法已經(jīng)被包括李世乭本人在內(nèi)的所有級別的棋手和愛好者研究過。

他們對此表示：“我之前還認(rèn)為AlphaGo是基于概率來計算的，它只是一臺機器。但當(dāng)我看到這手棋時，我改變了想法。毫無疑問，AlphaGo是有創(chuàng)造性的?！?/p>

“人機大戰(zhàn)”的影響力已經(jīng)遠(yuǎn)遠(yuǎn)超出了國際象棋本身。這些自學(xué)成才的專家級機器不僅表現(xiàn)優(yōu)異，棋力非凡，而且從自己創(chuàng)造的新知識中學(xué)習(xí)。

加里·卡斯帕羅夫 前國際象棋世界冠軍

和圍棋一樣，我們對AlphaZero在國際象棋上的創(chuàng)造性突破感到興奮，自從計算機時代以來，人工智能時時面臨著巨大挑戰(zhàn)，包括巴貝奇、圖靈、馮·諾依曼在內(nèi)的早期計算機先驅(qū)人物，都曾試圖設(shè)計國際象棋程序，但AlphaZero的用途不僅僅是國際象棋、將棋和圍棋。

為了創(chuàng)建能夠解決各種現(xiàn)實問題的智能系統(tǒng)，它們需要更加靈活，能夠適應(yīng)新情況。雖然目前在實現(xiàn)這一目標(biāo)方面取得了一些進(jìn)展，但AI的通用化問題仍然是研究中的一項重大挑戰(zhàn)，經(jīng)過訓(xùn)練的AI系統(tǒng)面對特定任務(wù)時能夠以極高標(biāo)準(zhǔn)完成，但任務(wù)只要稍有變化往往就會失敗。

AlphaZero掌握了三種不同的復(fù)雜游戲，這可能是朝著解決這一問題邁出的重要一步。盡管目前還處于早期階段，但AlphaZero取得的進(jìn)步，以及在蛋白質(zhì)折疊系統(tǒng)AlphaFold等其他項目上的令人鼓舞的結(jié)果，讓我們對實現(xiàn)通用學(xué)習(xí)系統(tǒng)的使命充滿信心，相信未來我們能夠找到一些新的解決方案，解決最重要、最復(fù)雜的科學(xué)問題。