• <menu id="sssag"></menu>
  • <menu id="sssag"></menu>
  • FaE:基于符號知識的適應性和可解釋的神經記憶

    ?原創作者 | 朱林

    論文解讀:

    Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge

    論文作者:

    Google Research

    論文地址:

    https://arxiv.org/abs/2007.00849

    收錄會議:

    NAACL 2021

    01 介紹

    大規模語言模型,如BERT、Transformer等是現代自然語言建模的核心,其已被證明可以編碼進大量的常識和事實(Fact)信息,是許多下游應用的基礎。

    然而,這些知識只存在于模型的潛在參數中,無法進行檢查和解釋。更糟糕的是,隨著時間和外部環境的變化,從訓練語料庫中學習并記憶的事實信息可能會過時或出錯。

    為了解決這些問題,本文作者開發了一種神經語言模型Facts-as-Experts (FaE),其在神經網絡語言模型和符號知識庫(symbolic KB)之間建立了一個橋梁,將深度神經網絡的表達能力優勢和符號知識庫的推理能力優勢進行了有機結合。

    實驗表明,該模型在兩個知識密集型問答任務中顯著提高了性能。更有趣的是,該模型可以通過操縱其符號表示來更新模型而無需重新訓練,且該模型允許添加新的事實并以早期模型不可能的方式覆蓋現有的事實。

    02 模型

    符號定義

     

    總體架構

    Facts-as-Experts(FaE)模型建立在最新提出的專家實體語言模型Entities-as-Experts(EaE)上,EaE是一種可以直接從文本中學習與實體相關Memory的新模型,參數規模小于Transformer模型,但是性能優于Transformer架構。

    FaE模型在EaE基礎上包含一個稱為Fact Memory的附加Memory,它從符號知識庫中編碼出三元組。每個三元組都是由組成它實體的EaE-learned嵌入組成的。這個Fact Memory用一個鍵值對表示,可以用來檢索知識庫中的信息。

    如圖1所示,虛線內的模型是EaE,右側是Fact Memory。首先輸入一段文本,使用[MASK]作為對Fact Memory的查詢,使用Transformer層對其進行上下文編碼。

    然后,通過上下文查詢得到事實的Key(如[Charles Darwin, born in]),以及該Key的Values(如{United Kingdom})。返回被合并回上下文中以進行最終預測。事實中的鍵值與EaE實體Memory共享。

    通過這種組合產生了一個新的神經語言模型,該模型能有效結合符號知識圖中的信息。

    圖1 Facts-as-Experts模型架構

    附加和集成

     

     

     

    03 實驗

    數據集

    本文在兩個開放域問答數據集上進行了評估:FreebaseQA和WebQuestionsSP,這兩個數據集都是從Freebase創建的。Freebase是個類似Wikipedia的創作共享類網站,所有內容都由用戶添加。

    結果

    表1 兩個數據集上的評估

    如表1所示,作者將FaE與三個基線模型進行比較:FOFE、EmQL和Entity-as-Expert(EaE)。

    FOFE是一種前饋語言模型,旨在對長序列進行編碼,并且是FreebaseQA數據集上之前最先進的模型。EmQL是作為知識庫上的查詢嵌入引入的,是WebQuestionsSP上之前最先進的模型。另外還有上文提到的EaE模型。

    結果顯示,FaE在FreebaseQA數據集上的準確率高于其他基線模型近10個百分點。在WebQuestionsSP完整數據集上FaE的性能相對較低,但這主要是由于Freebase和Wikidata之間的映射導致知識庫不完整導致的。

    04 討論

    數據重疊

    本文模型主要關注對模型使用外部知識回答問題的能力,而不是學習識別語義相同的問題。

    不幸的是,對這兩個數據集的分析表明,許多測試答案也顯示為某些訓練集問題的答案:FreebaseQA測試數據中75.0%的答案和WebQuestionsSP中57.5%的答案都是這種情況。

    這表明了一種可能性,即模型的某些高性能可能歸因于簡單地記住特定的問題/答案對。

    為了解決這個問題,作者丟棄了重疊部分查詢實驗。當應用重疊過濾之后,模型的表現要差得多,并且它們被迫依賴于跨多個示例進行推理的能力,在FaE中指的是Fact Memory。

    新事實注入

    因為作者的模型只是象征性地定義了事實,原則上它可以注入Memory中新的事實,而無需重新訓練模型的任何參數。

    為了測試模型執行此任務的能力,作者比對了模型在給定完整知識、過濾知識和注入知識的情況下的結果,如表2所示。過濾知識和注入知識的方法差距證明模型能夠很好地結合新引入的事實。

    表2 注入新的事實的對比結果

    更新陳舊Memory

    作者希望模型能很好地對知識進行表示,并且這種知識表示可以通過隨外界環境變化而增量更新來避免數據過時。

    為了探究這種能力,作者模擬了這個場景的一個極端版本,其中FreebaseQA測試集中對問答對的所有答案都替換為合理的其他值。

     

    05 結論

    在本文中,作者提出了一種將神經網絡語言模型與可解釋的符號知識庫相結合的新模型FaE。該模型在事實性問答任務方面表現出與高性能語言模型相當或更好的性能,且該模型可以通過僅修改非參數的Memory部分而無需任何額外訓練來更改語言模型的輸出,是值得深入研究的一個新方向。

    06 思考

    本文留給了我們一些啟發與思考:

    (1) 深度神經網絡語言模型實驗效果很好,但是依賴于超大的數據集和深度的不可解釋的參數空間,是一個典型的黑盒模型,實際應用很難調節和解釋。而目前越來越的新方法嘗試與符號知識庫等有推理能力和解釋能力的模型進行結合,以提高可解釋性。

    (2) 結合符號邏輯或者可解釋的嚴謹的數學模型,我們可以構造出僅僅需要改變外部結構就能泛化到別的應用場景能力,而不用每次都拿新的數據喂給模型重新訓練參數,如果這個思路可行,在實際工程中就可以節省很多訓練時間和存儲空間,是個值得研究的方向。

    (3) 目前不少問答數據集存在訓練集和測試集重疊的問題,導致了實驗結果的“虛高”,值得重新構造恰當的數據集進行實驗和探討,使結果更為嚴謹。

    posted @ 2022-03-07 19:05  NLP論文解讀  閱讀(42)  評論(0編輯  收藏  舉報
    国产在线码观看超清无码视频,人妻精品动漫H无码,十大看黄台高清视频,国产在线无码视频一区二区三区,国产男女乱婬真视频免费,免费看女人的隐私超爽,狠狠色狠狠色综合久久蜜芽