周志華:機(jī)器學(xué)習(xí)技術(shù)是AI應(yīng)用的關(guān)鍵

周志華稱,從技術(shù)上看,神經(jīng)網(wǎng)絡(luò)其實(shí)是個(gè)簡(jiǎn)單的數(shù)學(xué)函數(shù),通過(guò)迭代嵌套得出的系統(tǒng)。在一些圖像視頻處理任務(wù)中,深度神經(jīng)網(wǎng)絡(luò)有時(shí)候并不是最佳的選擇。
“當(dāng)我們重新審視神經(jīng)網(wǎng)絡(luò)模型的時(shí)候,提出是不是可以基于不可微構(gòu)件進(jìn)行深度學(xué)習(xí)?”周志華介紹說(shuō),他的團(tuán)隊(duì)最近提出了一個(gè)叫做“深度森林”的模型,這是一個(gè)“非神經(jīng)網(wǎng)絡(luò)”,且不使用BP算法訓(xùn)練的深度學(xué)習(xí)模型。周志華透露,這個(gè)模型目前已經(jīng)與螞蟻金服合作,應(yīng)用在反套現(xiàn)的檢測(cè)上,目前性能表現(xiàn)很好。
關(guān)于機(jī)器學(xué)習(xí)能夠解決的任務(wù),周志華認(rèn)為,圍棋屬于封閉靜態(tài)環(huán)境的任務(wù),他不是“最難的任務(wù)”,以往的機(jī)器學(xué)習(xí)就可以解決這種封閉靜態(tài)環(huán)境任務(wù)。“我們今天面對(duì)的是動(dòng)態(tài)開(kāi)放環(huán)境下的機(jī)器學(xué)習(xí)挑戰(zhàn),最關(guān)鍵的就是魯棒性。”周志華稱,這就要求AI必須很好的應(yīng)對(duì)未知環(huán)境,是通往魯棒人工智能的核心環(huán)節(jié)。
在AI產(chǎn)業(yè)發(fā)展方面,周志華認(rèn)為,目前AI廣泛應(yīng)用的代表是互聯(lián)網(wǎng)行業(yè),因?yàn)楹笳邠碛写罅康臄?shù)據(jù)。但是,未來(lái)在一些數(shù)據(jù)量小的領(lǐng)域可能應(yīng)用前景更大。
周志華在最后表示,AI產(chǎn)業(yè)發(fā)展真正需要的是人才,“與一般軟件產(chǎn)業(yè)相比,AI產(chǎn)業(yè)將更凸顯個(gè)人英雄主義”。(小羿)
以下是演講內(nèi)容:
周志華:王部長(zhǎng)、李院士,各位領(lǐng)導(dǎo)、各位朋友,大家上午好!
首先剛才主持人報(bào)到的這個(gè)題目和我實(shí)際講的題目有一點(diǎn)點(diǎn)差別,我今天跟大家匯報(bào)的這個(gè)題目是“關(guān)于機(jī)器學(xué)習(xí)前沿的一點(diǎn)思考”,因?yàn)槲冶救酥饕菑氖聶C(jī)器學(xué)習(xí)方面的研究。
前段時(shí)間我們經(jīng)常都聽(tīng)說(shuō)現(xiàn)在我們處于一個(gè)大數(shù)據(jù)的時(shí)代,但是我想現(xiàn)在我們所有人都非常清楚,這個(gè)大數(shù)據(jù)并不意味著真正大的價(jià)值,要得到數(shù)據(jù)里面的價(jià)值,我們就必須要進(jìn)行有效的數(shù)據(jù)分析,而今天我們要通過(guò)計(jì)算機(jī)來(lái)進(jìn)行數(shù)據(jù)分析,就必須要進(jìn)行機(jī)器學(xué)習(xí)。前面很多嘉賓講到的人工智能的應(yīng)用里面,最關(guān)鍵的支撐原因就是機(jī)器學(xué)習(xí)。
今天我想談一談關(guān)于機(jī)器學(xué)習(xí)方面的一些思考,首先因?yàn)槲沂菑膶W(xué)術(shù)研究出發(fā),所以我先談一談關(guān)于技術(shù)上的一些考慮。
今天我們談到人工智能的熱潮也好,還是人工智能的產(chǎn)業(yè)也好,其實(shí)很大程度上就是因?yàn)闄C(jī)器學(xué)習(xí)技術(shù),尤其是里面的深度學(xué)習(xí)技術(shù)取得了巨大的進(jìn)展。所以我們可以看到各種各樣的應(yīng)用中,特別是在圖像、視頻、語(yǔ)音,包括我們現(xiàn)在用到的訊飛這么一個(gè)實(shí)時(shí)的翻譯器,其實(shí)背后都有很多深度學(xué)習(xí)的技術(shù)在起作用。
但是如果我們今天問(wèn)到一個(gè)問(wèn)題,深度學(xué)習(xí)是什么呢?我想絕大部分人的回答,通常都說(shuō)深度學(xué)習(xí)就是深度神經(jīng)網(wǎng)絡(luò)。我給大家看一個(gè)例子,有一個(gè)很著名的學(xué)會(huì)叫siam,它有一個(gè)旗艦的報(bào)紙叫《Siam News》,它里面談到機(jī)器學(xué)習(xí)深度學(xué)習(xí)就是一個(gè)子女。當(dāng)我們要談深度,這里面每一個(gè)節(jié)點(diǎn)是什么東西呢?以往我們從生理學(xué)上得到一點(diǎn)基本的啟發(fā),如果一個(gè)細(xì)胞得到很多的信號(hào),這個(gè)簡(jiǎn)單的現(xiàn)象在1943年就被兩位學(xué)者總結(jié)成了這么一個(gè)簡(jiǎn)單的數(shù)學(xué)公式,非常的簡(jiǎn)單,就是幾個(gè)加和,再減掉一個(gè)數(shù),再用函數(shù)處理一下,這個(gè)公式一直到今天我們還在使用。今天我們看到這么復(fù)雜的深度學(xué)習(xí)系統(tǒng),它的奧秘是什么呢?最基本的單元就是它。所以我們可以看到所謂的神經(jīng)網(wǎng)絡(luò)也好,深度神經(jīng)網(wǎng)絡(luò)也好,就是一個(gè)簡(jiǎn)單的函數(shù)。
在2012年的時(shí)候,在這個(gè)著名的比賽獲勝的網(wǎng)絡(luò)用了8層,在2016年的時(shí)候用到了1207層,所以這是一個(gè)非常巨大非常龐大的系統(tǒng),我們?cè)趺礃幼屵@些系統(tǒng)工作起來(lái)呢?這里面用到很多技巧。但是非常重要的,我們可以看到這個(gè)里面最基本的單元就是我們剛才說(shuō)到的這個(gè)函數(shù),是連續(xù)可為的。今天深度神經(jīng)網(wǎng)絡(luò)的成功和它最后使用的基礎(chǔ)構(gòu)建是使用了可為的構(gòu)建,這個(gè)是密不可分的。
現(xiàn)在很多的學(xué)者在反思,第一個(gè)就是太多超參數(shù),我們現(xiàn)在大量的時(shí)間都花在調(diào)參數(shù)上,甚至大家覺(jué)得這件事情好像不應(yīng)該是科學(xué)技術(shù)的事情,好像是一個(gè)體力活。另外有的結(jié)果我們還很難重復(fù),此外還有很多很多的問(wèn)題。
另外我們就算不從學(xué)術(shù)上考慮的話,因?yàn)榇蠹矣械臅r(shí)候會(huì)說(shuō)你們學(xué)術(shù)上做什么我不關(guān)心,能給我提高性能就好。其實(shí)就算從這個(gè)角度來(lái)看,我們可以看一看今天深度神經(jīng)網(wǎng)絡(luò)所獲勝,有好的效果的,主要是哪些應(yīng)用呢?主要涉及到圖像、視頻、語(yǔ)音這樣的任務(wù)。但我們其實(shí)有大量的任務(wù)不是這些,比如說(shuō)我們?cè)陔娚汤锩孀鰣D像推薦,就不是這些任務(wù)。這里面有大量買機(jī)票的,有訂旅館的等等,可以看到即使在今天絕大多數(shù)獲勝的模型還不是深度神經(jīng)網(wǎng)絡(luò)。
今天的深度神經(jīng)網(wǎng)絡(luò)是多層的,可參數(shù)化的可微分的非線性模塊構(gòu)建的,需要用BP算法來(lái)訓(xùn)練的這樣一種模型。今天我們認(rèn)為有一個(gè)很前沿的問(wèn)題,就是能不能基于不可微構(gòu)建來(lái)進(jìn)行深度學(xué)習(xí)?比如說(shuō)深度學(xué)習(xí)是不是就等于深度神經(jīng)網(wǎng)絡(luò)?我們有沒(méi)有可能在圖像、視頻、語(yǔ)音之外更多的任務(wù),得到更好的性能?
最近我們自己的研究,在這方面做了一點(diǎn)點(diǎn)工作,我們提出了一個(gè)新的模型,叫做深度森林,這不是一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的模型,但是在很多任務(wù)上已經(jīng)取得了深度神經(jīng)網(wǎng)絡(luò)的模型。
這件事情最近也有一些反響,如果大家關(guān)注最近的新聞可以看到我們和螞蟻金服公司合作,做到螞蟻金服反套現(xiàn)的技術(shù)上,這還是一個(gè)開(kāi)頭,是一個(gè)非常初的技術(shù),未來(lái)再發(fā)展下去會(huì)有更多的機(jī)會(huì)。
在我們提出深度森林之后,國(guó)際上有很多學(xué)者也在反思深度學(xué)習(xí)這個(gè)領(lǐng)域,比如說(shuō)Keras的創(chuàng)始人說(shuō)可微層是當(dāng)前模型的根本弱點(diǎn)。以往我們知道深度學(xué)習(xí)很有效,但其實(shí)深度學(xué)習(xí)這個(gè)屋子里面只有一種是叫深度網(wǎng)絡(luò)學(xué)習(xí)模型。但是還有其他的模型,今天我們可以看到深度學(xué)習(xí)的效用在大多數(shù)領(lǐng)域里面已經(jīng)應(yīng)用得相當(dāng)充分了,當(dāng)我們有了新的模型之后,有沒(méi)有可能在更多的領(lǐng)域重新得到一種更多的價(jià)值呢?可能這是一個(gè)值得探討的方向。
第二個(gè)部分,我想談一談機(jī)器學(xué)習(xí)技術(shù)新的任務(wù)。人工智能學(xué)界很早就知道對(duì)這種規(guī)則明確的棋類游戲,機(jī)器學(xué)習(xí)一定會(huì)超過(guò)人類。我們說(shuō)圍棋棋盤361個(gè)點(diǎn),每個(gè)點(diǎn)上有三種可能,所以它的可能性是3的361次方。我們宇宙中現(xiàn)在所有知道的原子的個(gè)數(shù)是10的80次方,這實(shí)際上告訴我們什么呢?如果你靠強(qiáng)力計(jì)算,一個(gè)狀態(tài)一個(gè)狀態(tài)去評(píng)估,哪怕量子計(jì)算機(jī)做出來(lái),或者更強(qiáng)大的計(jì)算機(jī)做出來(lái),圍棋問(wèn)題也是解決不了的,所以這不是一個(gè)單單靠強(qiáng)力計(jì)算能解決的事情,必須要有聰明的算法。但是聰明的算法現(xiàn)在已經(jīng)有了。
從另外一個(gè)角度,其實(shí)比圍棋更困難的問(wèn)題很多,因?yàn)閲逵幸粋€(gè)很基本的假設(shè)或者說(shuō)共性的條件,就是精確感知,我下圍棋的時(shí)候棋子落在什么地方大家都看得很清楚,不會(huì)把你遮起來(lái),而且大家對(duì)什么獲勝這一點(diǎn)也有共識(shí)。
有很多問(wèn)題不是這樣的,我們平時(shí)打麻將,就是不完備信息,你只能看到桌上的牌,看到自己的牌,其他幾家牌看不到,實(shí)際上打麻將這件事情就比圍棋更難。大家可能覺(jué)得現(xiàn)在有些打麻將的游戲已經(jīng)打得很好了,這是為什么?很多程序背后是作弊的,你看不到大家的牌,他能看得到。另外麻將的牌張數(shù)只有136張,張數(shù)比較少,如果張數(shù)達(dá)到361張,和圍棋棋盤一樣,我們就可以有嚴(yán)格的數(shù)據(jù)證明它比圍棋復(fù)雜得多。
總的來(lái)說(shuō),它屬于一種封閉環(huán)境、靜態(tài)環(huán)境的任務(wù)。我們以往的機(jī)器學(xué)習(xí)其實(shí)主要就在解決這樣的任務(wù),我們假定很多東西不變的,我們假設(shè)評(píng)價(jià)目標(biāo)恒定等等,但是今天我們解決的任務(wù)目標(biāo)變了,比如說(shuō)我們一條破冰船開(kāi)到兩極去,它看到的險(xiǎn)情在變的,目標(biāo)還會(huì)多樣化等等,所以我們今天的任務(wù)是在開(kāi)放環(huán)境下怎么樣更好地做機(jī)器學(xué)習(xí),這時(shí)候好的時(shí)候要好,壞的時(shí)候也不能太壞。
如果我們看看國(guó)際上對(duì)于人工智能發(fā)展的討論,國(guó)際人工智能大會(huì)有一個(gè)主席的報(bào)告,就是由學(xué)會(huì)的主席來(lái)對(duì)未來(lái)做一個(gè)判斷,他的題目就是說(shuō)“通往魯棒的AI”,隨著人工智能技術(shù)取得巨大發(fā)展,我們?cè)絹?lái)越多地面對(duì)高風(fēng)險(xiǎn)應(yīng)用。這個(gè)魯棒的人工智能怎么來(lái)呢?就要求我們的系統(tǒng)必須要能夠很好地應(yīng)對(duì)未知環(huán)境,實(shí)際上用我們的話來(lái)說(shuō)就是開(kāi)放環(huán)境,所以開(kāi)放環(huán)境下的機(jī)器學(xué)習(xí)是我們這個(gè)領(lǐng)域特別要關(guān)注的事情。
第三方面,我想簡(jiǎn)單地談一談關(guān)于人工智能產(chǎn)業(yè)發(fā)展的一點(diǎn)粗淺的想法。
今天我們可以看到人工智能技術(shù)在很多產(chǎn)業(yè)廣泛應(yīng)用,但是如果大家問(wèn)到底什么產(chǎn)業(yè)是代表性的呢?我想主要就是互聯(lián)網(wǎng)行業(yè)。人是什么?很基本的一個(gè)原因是他們積累了大量的數(shù)據(jù),我們的機(jī)器學(xué)習(xí)技術(shù)也好,人工智能技術(shù)也好,是提供了利用數(shù)據(jù)的方法。其實(shí)我們馬上就可以看到,經(jīng)過(guò)十多年的努力,我們所有的行業(yè)可以說(shuō)都有很多的數(shù)據(jù)。事實(shí)上人工智能技術(shù)可以進(jìn)入所有這些領(lǐng)域,所以今天我們應(yīng)該問(wèn)的不是說(shuō)人工智能技術(shù)在哪些領(lǐng)域可能能用得好,而是應(yīng)該問(wèn)的是下面人工智能技術(shù)會(huì)在哪些領(lǐng)域取得更大的提高。
我想現(xiàn)在人工智能技術(shù)已經(jīng)用得很好的領(lǐng)域反倒不太容易取得更大的提高,現(xiàn)在用得比較少的領(lǐng)域用進(jìn)去之后可能進(jìn)展會(huì)更大。未來(lái)的話人工智能技術(shù)確實(shí)就應(yīng)該像電力一樣,遲早會(huì)進(jìn)入所有的行業(yè)。
人工智能產(chǎn)業(yè)發(fā)展到底需要什么呢?是不是需要設(shè)備呢?其實(shí)不是的,我們基本不需要什么特殊精密設(shè)備,是不是需要數(shù)據(jù)呢?現(xiàn)在數(shù)據(jù)遍地都是。真正需要的是什么呢?其實(shí)真正需要的是人才。
特別是和一般的軟件產(chǎn)業(yè)比,人工智能產(chǎn)業(yè)應(yīng)該是一個(gè)非常凸現(xiàn)個(gè)人英雄主義的行業(yè)。前幾天如果大家關(guān)注新聞,可能看到有一件,我們組里面一個(gè)還沒(méi)有畢業(yè)的學(xué)生被一個(gè)研究企業(yè)聘請(qǐng)去做創(chuàng)業(yè)指導(dǎo),高校畢業(yè)出來(lái)的人才一定要在企業(yè)里面經(jīng)過(guò)兩三年的打磨以后才能做這個(gè)事。以往我們做軟件的話,一個(gè)軟件一定要有很多人來(lái)做。今天人工智能這個(gè)行業(yè)它的代表性就是它是軟件業(yè)里面的一個(gè)明珠,個(gè)別人的聰明才智在哪個(gè)方面取得算法上的突破,可能就真的帶來(lái)生產(chǎn)力。所以今天這個(gè)行業(yè)的特點(diǎn),就決定我們?nèi)斯ぶ悄艿娜瞬排囵B(yǎng)是特別重要,所以現(xiàn)在可以說(shuō)進(jìn)入了一個(gè)全球增強(qiáng)人工智能人才的年代。
但是高水平人工智能人才培養(yǎng)的造血能力,我們認(rèn)為它真的會(huì)導(dǎo)致產(chǎn)業(yè)核心競(jìng)爭(zhēng)力的差別,而且人工智能人才培養(yǎng)基地會(huì)直接促進(jìn)人工智能產(chǎn)業(yè)人才急劇形成。
最近我們南京大學(xué)成立了一個(gè)人工智能學(xué)院,我們也希望從源頭做起,為國(guó)家培養(yǎng)高水平人工智能人才。南京政府也非常支持我們這個(gè)學(xué)院的成立,我也歡迎各位以各種方式來(lái)支持我們南京大學(xué)人工智能學(xué)院,謝謝!
推薦閱讀:HGX-2:Nvidia推出的集AI和高性能計(jì)算于一身的平臺(tái)