人工智能（Artificial Intelligence，AI）主要研究人類思

　　維、行動(dòng)中那些尚未算法化的功能行為， 使機(jī)器像人的大

　　腦一樣思考、行動(dòng)。長(zhǎng)期以來(lái)， 圍棋作為一種智力博弈游

　　戲， 以其變化莫測(cè)的博弈局面， 高度體現(xiàn)了人類的智慧， 為

　　人工智能研究提供了一個(gè)很好的測(cè)試平臺(tái)， 圍棋人工智能

　　也是人工智能領(lǐng)域的一個(gè)重要挑戰(zhàn)。

　　傳統(tǒng)的計(jì)算機(jī)下棋程序的基本原理， 是通過(guò)有限步數(shù)

　　的搜索樹(shù)， 即采用數(shù)學(xué)和邏輯推理方法， 把每一種可能的

　　路徑都走一遍， 從中選舉出最優(yōu)路徑， 使得棋局勝算最大。

　　這種下棋思路是充分發(fā)揮計(jì)算機(jī)運(yùn)算速度快、運(yùn)算量大等

　　優(yōu)勢(shì)的“暴力搜索法”， 是人類在對(duì)弈規(guī)定的時(shí)間限制內(nèi)無(wú)

　　法做到的。但是由于圍棋局面數(shù)量太大， 這樣的運(yùn)算量對(duì)

　　于計(jì)算機(jī)來(lái)講也是相當(dāng)之大， 目前的計(jì)算機(jī)硬件無(wú)法在對(duì)

　　弈規(guī)定的時(shí)間內(nèi)， 使用計(jì)算機(jī)占絕對(duì)優(yōu)勢(shì)的“暴力搜索法”

　　完成圍棋所有局面的擇優(yōu)， 所以這樣的下棋思路不適用于

　　圍棋對(duì)弈。

　　搜索量巨大的問(wèn)題一直困擾著圍棋人工智能， 使其發(fā)

　　展停滯不前，直到2 0 0 6 年， 蒙特卡羅樹(shù)搜索的應(yīng)用出現(xiàn)，

　　才使得圍棋人工智能進(jìn)入了嶄新的階段， 現(xiàn)代圍棋人工智

　　能的主要算法是基于蒙特卡洛樹(shù)的優(yōu)化搜索。

　　2 圍棋人工智能基本原理

　　目前圍棋人工智能最杰出的代表， 是由谷歌旗下人工

　　智能公司DeepMind創(chuàng)造的AlphaGo圍棋人工智能系統(tǒng)。它

　　在與人類頂級(jí)圍棋棋手的對(duì)弈中充分發(fā)揮了其搜索和計(jì)

　　算的優(yōu)勢(shì)， 幾乎在圍棋界立于不敗之地。

　　Alph a G o系統(tǒng)的基本原理是將深度強(qiáng)化學(xué)習(xí)方法與蒙

　　特卡洛樹(shù)搜索結(jié)合， 使用有監(jiān)督學(xué)習(xí)策略網(wǎng)絡(luò)和價(jià)值網(wǎng)

　　絡(luò)， 極大減少了搜索空間， 即在搜索過(guò)程中的計(jì)算量， 提高

　　了對(duì)棋局估計(jì)的準(zhǔn)確度。

　　2.1 深度強(qiáng)化學(xué)習(xí)方法

　　深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究， 人類大量的視覺(jué)

　　聽(tīng)覺(jué)信號(hào)的感知處理都是下意識(shí)的， 是基于大腦皮層神經(jīng)

　　網(wǎng)絡(luò)的學(xué)習(xí)方法， 通過(guò)模擬大腦皮層推斷分析數(shù)據(jù)的復(fù)雜

　　層狀網(wǎng)絡(luò)結(jié)構(gòu)， 使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)

　　成的多個(gè)處理層對(duì)數(shù)據(jù)進(jìn)行高層抽象， 其過(guò)程類似于人們

　　識(shí)別物體標(biāo)注圖片。現(xiàn)如今， 應(yīng)用最廣泛的深度學(xué)習(xí)模型

　　包括： 卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、堆棧自編碼網(wǎng)絡(luò)和遞

　　歸神經(jīng)網(wǎng)絡(luò)等。

　　強(qiáng)化學(xué)習(xí)源于動(dòng)物學(xué)習(xí)、參數(shù)擾動(dòng)自適應(yīng)控制等理

　　論， 通過(guò)模擬生物對(duì)環(huán)境以試錯(cuò)的方式進(jìn)行交互達(dá)到對(duì)環(huán)

　　境的最優(yōu)適應(yīng)的方式， 通過(guò)不斷地反復(fù)試驗(yàn)， 將變化無(wú)常

　　的動(dòng)態(tài)情況與對(duì)應(yīng)動(dòng)作相匹配。強(qiáng)化學(xué)習(xí)系統(tǒng)設(shè)置狀態(tài)、

　　動(dòng)作、狀態(tài)轉(zhuǎn)移概率和獎(jiǎng)賞四個(gè)部分， 在當(dāng)前狀態(tài)下根據(jù)

　　策略選擇動(dòng)作， 執(zhí)行該過(guò)程并以當(dāng)前轉(zhuǎn)移概率轉(zhuǎn)移到下一

　　狀態(tài)， 同時(shí)接收環(huán)境反饋回來(lái)的獎(jiǎng)賞， 最終通過(guò)調(diào)整策略

　　來(lái)最大化累積獎(jiǎng)賞。

　　深度學(xué)習(xí)具有較強(qiáng)的感知能力， 但缺乏一定的決策能

　　力； 強(qiáng)化學(xué)習(xí)具有決策能力， 同樣對(duì)感知問(wèn)題無(wú)能為力。深

　　度強(qiáng)化學(xué)習(xí)方法是將具有感知能力的深度學(xué)習(xí)和具有決

　　策能力的強(qiáng)化學(xué)習(xí)結(jié)合起來(lái)， 優(yōu)勢(shì)互補(bǔ)， 用深度學(xué)習(xí)進(jìn)行

　　感知， 從環(huán)境中獲取目標(biāo)觀測(cè)信息， 提供當(dāng)前環(huán)境下的狀

　　態(tài)信息； 然后用強(qiáng)化學(xué)習(xí)進(jìn)行決策， 將當(dāng)前狀態(tài)映射到相

　　應(yīng)動(dòng)作， 基于初期匯報(bào)評(píng)判動(dòng)作價(jià)值。

　　深度強(qiáng)化學(xué)習(xí)為復(fù)雜系統(tǒng)的感知決策問(wèn)題提供了一

　　種全新的解決思路。

　　2.2 蒙特卡洛樹(shù)搜索

　　蒙特卡洛樹(shù)搜索是將蒙特卡洛方法與樹(shù)搜索相結(jié)合

　　形成的一種搜索方法。所謂蒙特卡洛方法是一種以概率統(tǒng)

　　計(jì)理論為指導(dǎo)的強(qiáng)化學(xué)習(xí)方法， 它通常解決某些隨機(jī)事件

　　出現(xiàn)的概率問(wèn)題， 或者是某隨機(jī)變量的期望值等數(shù)字特征

　　問(wèn)題。通過(guò)與環(huán)境的交互， 從所采集的樣本中學(xué)習(xí)， 獲得關(guān)

　　于決策過(guò)程的狀態(tài)、動(dòng)作和獎(jiǎng)賞的大量數(shù)據(jù)， 最后計(jì)算出

　　累積獎(jiǎng)賞的平均值。

　　蒙特卡洛樹(shù)搜索算法是一種用于解決完美信息博弈

　?。╬erfect information games，沒(méi)有任何信息被隱藏的游戲）

　　的方法，主要包含選擇（Selection）、擴(kuò)展（Expansion）、模擬