近日，微軟公布的一篇新論文提出了一種新架構(gòu)，它的內(nèi)部表征（在執(zhí)行文本問(wèn)答任務(wù)時(shí)通過(guò)端到端的優(yōu)化來(lái)學(xué)習(xí)的表征）可以用語(yǔ)言學(xué)理論的基本概念來(lái)解釋。這篇論文的作者之一鄧力目前已經(jīng)離開(kāi)了微軟，加入了對(duì)沖基金巨頭 Citadel 任首席人工智能科學(xué)家。
論文內(nèi)容：
我們介紹了一種新架構(gòu)，它的內(nèi)部表征（在深度學(xué)習(xí)網(wǎng)絡(luò)中通過(guò)執(zhí)行文本問(wèn)答任務(wù)來(lái)端到端優(yōu)化而學(xué)習(xí)到的表征）可以用語(yǔ)言學(xué)理論的基本概念來(lái)解釋。這種可解釋性相對(duì)于新的基于原模型的準(zhǔn)確度只有幾個(gè)點(diǎn)的降低（BiDAF[1]）。被解釋的內(nèi)部表征是張量積表示（Tensor Product Representation）：對(duì)于每個(gè)輸入詞，模型選擇一個(gè)符號(hào)來(lái)對(duì)詞進(jìn)行編碼，一個(gè)放置符號(hào)的角色（role），然后將它們綁定起來(lái)。這種選擇是通過(guò)軟注意（soft attention）模型實(shí)現(xiàn)的，總體的解釋是由符號(hào)的解釋所構(gòu)建的，與訓(xùn)練模型利用的一樣，模型也利用對(duì)角色的解釋。
我們發(fā)現(xiàn)了對(duì)初始假設(shè)的支持，即符號(hào)可以被解釋為詞匯-語(yǔ)義詞義（lexical-semantic word meanings），而角色可被解釋為對(duì)語(yǔ)法角色（或類別）的近似，例如主語(yǔ)、問(wèn)詞、限定詞等。通過(guò)非常詳細(xì)的、細(xì)粒度的分析，我們發(fā)現(xiàn)了在學(xué)習(xí)到的角色和又標(biāo)準(zhǔn)解析器 [2] 分配的詞性之間的特定對(duì)應(yīng)關(guān)系，并且在模型的幫助下找到了幾個(gè)差異。在這個(gè)意義上，該模型可以在僅有無(wú)語(yǔ)言學(xué)相關(guān)注釋的文本、問(wèn)題和答案的情況下學(xué)習(xí)到語(yǔ)法的重要方面：模型沒(méi)有先驗(yàn)的語(yǔ)言學(xué)知識(shí)。該模型僅有使用符號(hào)和角色來(lái)進(jìn)行表征的方式和以一種大致離散的方式有利于這種使用的歸納偏置。
微信掃一掃
