今天的重大新聞是谷歌在自然雜志發(fā)表關(guān)于【阿爾法零】的論文：
文章40多頁(yè)，簡(jiǎn)單總結(jié)一下：
戰(zhàn)勝李世石的阿爾法狗被稱為阿爾法李。阿爾法李的成長(zhǎng)路線是先給它三千萬(wàn)專家棋譜圖讓它學(xué)習(xí)，然后再進(jìn)行后期左右互搏，不斷提高，最后戰(zhàn)勝李世石。
阿爾法零的成長(zhǎng)路線是從零開(kāi)始，只有圍棋規(guī)則，沒(méi)有任何人類知識(shí)，全憑左右互搏（自己跟自己下）。開(kāi)始隨機(jī)下，靠輸贏進(jìn)化。結(jié)果是
3小時(shí)以前瞎下（隨機(jī)）
10小時(shí)左右開(kāi)始發(fā)現(xiàn)簡(jiǎn)單定式
15小時(shí)發(fā)現(xiàn)復(fù)雜定式（比如小雪崩）
20小時(shí)左右開(kāi)始有戰(zhàn)術(shù)方面的發(fā)現(xiàn)，比如厚勢(shì)與實(shí)地的關(guān)系
40小時(shí)左右超越阿爾法李。
47小時(shí)點(diǎn)三3成為首選（這是阿爾法李很后期才發(fā)現(xiàn)的東西）
55小時(shí)左右開(kāi)始發(fā)現(xiàn)新定式（人類沒(méi)有過(guò)的定式）。
72小時(shí)出關(guān)。
出關(guān)后與阿爾法李下100盤，100：0全勝。人類下棋幾千年，幾千年積累起來(lái)的圍棋知識(shí)，阿爾法零三天時(shí)間全部搞定。
有趣的是，阿爾法李的進(jìn)化版“大師”（Master）比阿爾法李高級(jí)很多，與阿爾法零的加強(qiáng)版（進(jìn)化40小時(shí)后）下了100盤，89：11. 似乎說(shuō)明人類知識(shí)還不是完全無(wú)用。？
圍棋是全信息游戲，而且結(jié)果清楚（輸贏清楚），可以自學(xué)。不需要人類知識(shí)。實(shí)際上小孩子就是這樣學(xué)習(xí)的。只不過(guò)這個(gè)進(jìn)度太快（這要?dú)w功于他們的算法設(shè)計(jì)的很好）。
上圖是文章中我覺(jué)得比較有代表性的圖。圖的橫坐標(biāo)是訓(xùn)練小時(shí)。可以看見(jiàn)阿爾法李（紫色）由于有人類幫助，開(kāi)始很厲害。但40左右就被阿爾法零超越。有趣的是圖b與c。圖b是判斷人類棋手的下一步，阿爾法李一直比阿爾法零厲害（跟人類棋譜學(xué)的嘛）。但判斷輸贏（圖c）阿爾法零很快就超過(guò)阿爾法李（錯(cuò)誤率趨近于零）。這說(shuō)明阿爾法零看不起（懂）人類下法，它與人類有不同的下法。
倫敦當(dāng)?shù)貢r(shí)間10月18日18：00（北京時(shí)間19日01：00），AlphaGo再次登上世界頂級(jí)科學(xué)雜志——《自然》。
一年多前，AlphaGo便是2016年1月28日當(dāng)期的封面文章，Deepmind公司發(fā)表重磅論文，介紹了這個(gè)擊敗歐洲圍棋冠軍樊麾的人工智能程序。
今年5月，以3:0的比分贏下中國(guó)棋手柯潔后，AlphaGo宣布退役，但DeepMind公司并沒(méi)有停下研究的腳步。倫敦當(dāng)?shù)貢r(shí)間10月18日，DeepMind團(tuán)隊(duì)公布了最強(qiáng)版AlphaGo ，代號(hào)AlphaGo Zero。它的獨(dú)門秘籍，是“自學(xué)成才”。而且，是從一張白紙開(kāi)始，零基礎(chǔ)學(xué)習(xí)，在短短3天內(nèi)，成為頂級(jí)高手。
團(tuán)隊(duì)稱，AlphaGo Zero的水平已經(jīng)超過(guò)之前所有版本的AlphaGo。在對(duì)陣曾贏下韓國(guó)棋手李世石那版AlphaGo時(shí)，AlphaGo Zero取得了100:0的壓倒性戰(zhàn)績(jī)。DeepMind團(tuán)隊(duì)將關(guān)于AlphaGo Zero的相關(guān)研究以論文的形式，刊發(fā)在了10月18日的《自然》雜志上。
“AlphaGo在兩年內(nèi)達(dá)到的成績(jī)令人震驚?，F(xiàn)在，AlphaGo Zero是我們最強(qiáng)版本，它提升了很多。Zero提高了計(jì)算效率，并且沒(méi)有使用到任何人類圍棋數(shù)據(jù)，”AlphaGo之父、DeepMind聯(lián)合創(chuàng)始人兼CEO 戴密斯·哈薩比斯（Demis Hassabis）說(shuō)，“最終，我們想要利用它的算法突破，去幫助解決各種緊迫的現(xiàn)實(shí)世界問(wèn)題，如蛋白質(zhì)折疊或設(shè)計(jì)新材料。如果我們通過(guò)AlphaGo，可以在這些問(wèn)題上取得進(jìn)展，那么它就有潛力推動(dòng)人們理解生命，并以積極的方式影響我們的生活。”
不再受人類知識(shí)限制，只用4個(gè)TPU
AlphaGo此前的版本，結(jié)合了數(shù)百萬(wàn)人類圍棋專家的棋譜，以及強(qiáng)化學(xué)習(xí)的監(jiān)督學(xué)習(xí)進(jìn)行了自我訓(xùn)練。
在戰(zhàn)勝人類圍棋職業(yè)高手之前，它經(jīng)過(guò)了好幾個(gè)月的訓(xùn)練，依靠的是多臺(tái)機(jī)器和48個(gè)TPU（谷歌專為加速深層神經(jīng)網(wǎng)絡(luò)運(yùn)算能力而研發(fā)的芯片）。
AlphaGo Zero的能力則在這個(gè)基礎(chǔ)上有了質(zhì)的提升。最大的區(qū)別是，它不再需要人類數(shù)據(jù)。也就是說(shuō)，它一開(kāi)始就沒(méi)有接觸過(guò)人類棋譜。研發(fā)團(tuán)隊(duì)只是讓它自由隨意地在棋盤上下棋，然后進(jìn)行自我博弈。值得一提的是，AlphaGo Zero還非常“低碳”，只用到了一臺(tái)機(jī)器和4個(gè)TPU，極大地節(jié)省了資源。
AlphaGo Zero強(qiáng)化學(xué)習(xí)下的自我對(duì)弈。經(jīng)過(guò)幾天的訓(xùn)練，AlphaGo Zero完成了近5百萬(wàn)盤的自我博弈后，已經(jīng)可以超越人類，并擊敗了此前所有版本的AlphaGo。DeepMind團(tuán)隊(duì)在官方博客上稱，Zero用更新后的神經(jīng)網(wǎng)絡(luò)和搜索算法重組，隨著訓(xùn)練地加深，系統(tǒng)的表現(xiàn)一點(diǎn)一點(diǎn)地在進(jìn)步。自我博弈的成績(jī)也越來(lái)越好，同時(shí)，神經(jīng)網(wǎng)絡(luò)也變得更準(zhǔn)確。
AlphaGo Zero習(xí)得知識(shí)的過(guò)程“這些技術(shù)細(xì)節(jié)強(qiáng)于此前版本的原因是，我們不再受到人類知識(shí)的限制，它可以向圍棋領(lǐng)域里最高的選手——AlphaGo自身學(xué)習(xí)。” AlphaGo團(tuán)隊(duì)負(fù)責(zé)人大衛(wèi)·席爾瓦（Dave Sliver）說(shuō)。
據(jù)大衛(wèi)·席爾瓦介紹，AlphaGo Zero使用新的強(qiáng)化學(xué)習(xí)方法，讓自己變成了老師。系統(tǒng)一開(kāi)始甚至并不知道什么是圍棋，只是從單一神經(jīng)網(wǎng)絡(luò)開(kāi)始，通過(guò)神經(jīng)網(wǎng)絡(luò)強(qiáng)大的搜索算法，進(jìn)行了自我對(duì)弈。
隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升預(yù)測(cè)下一步的能力，最終贏得比賽。更為厲害的是，隨著訓(xùn)練的深入，DeepMind團(tuán)隊(duì)發(fā)現(xiàn)，AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項(xiàng)古老游戲帶來(lái)了新的見(jiàn)解。
自學(xué)3天，就打敗了舊版AlphaGo
除了上述的區(qū)別之外，AlphaGo Zero還在3個(gè)方面與此前版本有明顯差別。
AlphaGo-Zero的訓(xùn)練時(shí)間軸首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設(shè)計(jì)的特征輸入。
其次，AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中，AlphaGo用到了“策略網(wǎng)絡(luò)”來(lái)選擇下一步棋的走法，以及使用“價(jià)值網(wǎng)絡(luò)”來(lái)預(yù)測(cè)每一步棋后的贏家。而在新的版本中，這兩個(gè)神經(jīng)網(wǎng)絡(luò)合二為一，從而讓它能得到更高效的訓(xùn)練和評(píng)估。
第三，AlphaGo Zero并不使用快速、隨機(jī)的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來(lái)預(yù)測(cè)哪個(gè)玩家會(huì)從當(dāng)前的局面中贏得比賽。相反，新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來(lái)評(píng)估下棋的局勢(shì)。
AlphaGo幾個(gè)版本的排名情況。據(jù)哈薩比斯和席爾瓦介紹，以上這些不同幫助新版AlphaGo在系統(tǒng)上有了提升，而算法的改變讓系統(tǒng)變得更強(qiáng)更有效。
經(jīng)過(guò)短短3天的自我訓(xùn)練，AlphaGo Zero就強(qiáng)勢(shì)打敗了此前戰(zhàn)勝李世石的舊版AlphaGo，戰(zhàn)績(jī)是100:0的。經(jīng)過(guò)40天的自我訓(xùn)練，AlphaGo Zero又打敗了AlphaGo Master版本。“Master”曾擊敗過(guò)世界頂尖的圍棋選手，甚至包括世界排名第一的柯潔。
阿爾法狗退役，最強(qiáng)“新狗”AlphaGo Zero橫空出世
圖為DeepMind AlphaGo項(xiàng)目首席研究員大衛(wèi)席爾瓦（David Silver，左）與首席執(zhí)行官德米斯哈比斯（Demis Hassabis）
席爾瓦繼續(xù)稱：“在每場(chǎng)對(duì)弈結(jié)束后，AlphaGo Zero實(shí)際上都訓(xùn)練了一個(gè)新的神經(jīng)網(wǎng)絡(luò)。它改進(jìn)了自己的神經(jīng)網(wǎng)絡(luò)，預(yù)測(cè)AlphaGo Zero自己的棋路，同時(shí)也預(yù)測(cè)了這些游戲的贏家。當(dāng)AlphaGo Zero這樣做的時(shí)候，實(shí)際上會(huì)產(chǎn)生一個(gè)更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，這將導(dǎo)致‘玩家’進(jìn)行新的迭代。因此，我們最終得到了一個(gè)新版AlphaGo Zero，它比之前的版本更強(qiáng)大。而且隨著這個(gè)過(guò)程不斷重復(fù)，它也可以產(chǎn)生更高質(zhì)量的數(shù)據(jù)，并用于訓(xùn)練更好的神經(jīng)網(wǎng)絡(luò)。”
“新狗”AlphaGo Zero的未來(lái)
通過(guò)數(shù)百萬(wàn)次自我對(duì)弈，AlphaGo從零開(kāi)始掌握了圍棋，在短短幾天內(nèi)就積累起了人類幾千年才有的知識(shí)。但AlphaGo Zero也發(fā)現(xiàn)了新的知識(shí)，發(fā)展出打破常規(guī)的策略和新招，與它在對(duì)戰(zhàn)李世石和柯潔時(shí)創(chuàng)造的那些交相輝映，卻又更勝一籌。
這些創(chuàng)造性的時(shí)刻給了我們信心：人工智能會(huì)成為人類智慧的增強(qiáng)器，幫助我們解決人類正在面臨的一些嚴(yán)峻挑戰(zhàn) 。
盡管才剛剛發(fā)展起來(lái)，AlphaGo Zero已經(jīng)走出了通向上述目標(biāo)的關(guān)鍵一步。對(duì)于希望利用人工智能推動(dòng)人類社會(huì)進(jìn)步為使命的DeepMind來(lái)說(shuō)，圍棋并不是AlphaGo的終極奧義，他們的目標(biāo)始終是要利用AlphaGo打造通用的、探索宇宙的終極工具。
AlphaGo Zero的提升，讓DeepMind看到了利用人工智能技術(shù)改變?nèi)祟惷\(yùn)的突破。他們目前正積極與英國(guó)醫(yī)療機(jī)構(gòu)和電力能源部門合作，提高看病效率和能源效率。同時(shí)類似的技術(shù)應(yīng)用在其他結(jié)構(gòu)性問(wèn)題，比如蛋白質(zhì)折疊、減少能耗和尋找新材料上，就能創(chuàng)造出有益于社會(huì)的突破。
本文由鈦媒體編輯綜述自澎拜新聞、騰訊科技等。
微信掃一掃
