用數據做酷的事！手把手教你搭建問答系統(tǒng)

本文介紹了如何基于 SQuAD 數據集搭建問答系統(tǒng)及其重要組件。

我最近很愉快地完成了斯坦福深度學習自然語言處理課程（CS224N），學到了很多新的東西。在結課項目中我基于斯坦福問答數據集（SQuAD）實現了一個問答系統(tǒng)。在這篇博客中，我將為大家介紹搭建問答系統(tǒng)所需要的主要模塊。

完整代碼 GitHub 地址：https://github.com/priya-dwivedi/cs224n-Squad-Project

SQuAD 數據集

斯坦福問答數據集（SQuAD）是一個全新的閱讀理解數據集，由眾包人員基于一系列維基百科文章的提問和對應的答案構成，其中每個問題的答案是相關文章中的文本片段或區(qū)間。SQuAD 包含關于 500 多篇文章的超過 100000 個問答對，規(guī)模遠遠超過其他閱讀理解數據集。

最近一段時間，各種類型的模型在 SQuAD 數據集上的效果獲得了快速的發(fā)展，其中最新的一些模型在問答任務中甚至取得了和人類相當的準確率。

SQuAD 數據集中的語境、問題和答案的示例

語境：阿波羅計劃于 1962 至 1972 年間進行，期間得到了同期的雙子座計劃（1962 年 - 1966 年）的支持。雙子座計劃為阿波羅計劃成功必需的一些太空旅行技術做了鋪墊。阿波羅計劃使用土星系列火箭作為運載工具來發(fā)射飛船。這些火箭還被用于阿波羅應用計劃，包括 1973 年到 1974 年間支持了三個載人飛行任務的空間站 Skylab，以及 1975 年和前蘇聯合作的聯合地球軌道任務阿波羅聯盟測試計劃。

問題：哪一個空間站于 1973 到 1974 年間承載了三項載人飛行任務？

答案：Skylab 空間站

SQuAD 的主要特點：

i) SQuAD 是一個封閉的數據集，這意味著問題的答案通常位于文章的某一個區(qū)間中。

ii) 因此，尋找答案的過程可以簡化為在文中找到與答案相對應部分的起始索引和結束索引。

iii) 75% 的答案長度小于四個單詞。

機器理解模型關鍵組件

i) 嵌入層

該模型的訓練集包括語境以及相關的問題。二者都可以分解成單獨的單詞，這些單詞會被轉換成使用預訓練向量（如 GloVe）的詞嵌入。想了解更多關于詞嵌入的信息，參考《教程 | 用數據玩點花樣！如何構建 skim-gram 模型來訓練和可視化詞向量》。同 one hot 向量相比，用詞嵌入方式對單詞進行表示可以更好地捕捉語境信息?？紤]到沒有足夠的數據，我使用了 100 維的 GloVe 詞嵌入并且在訓練過程中沒有對它們進行修改。

ii) 編碼器層

RNN 編碼器

我們將基于 RNN 的編碼器加入到了模型的下一層當中。我們希望語境中的每一個單詞能和它前后的單詞產生聯系。雙向 GRU/LSTM 可以幫助我們達到這一目標。RNN 的輸出是一系列向前、向后的隱藏向量，然后我們會將它們級聯起來。類似地，我們可以使用相同的 RNN 編碼器創(chuàng)建問題隱藏向量。

iii）注意力層

現在我們有了一個語境隱藏向量和問題隱藏向量。我們需要將這兩個向量結合起來，以找到問題的答案。這時就需要用到注意力層。注意力層是問答系統(tǒng)的關鍵組成部分，因為它能幫助確定對于給定的問題我們應該「注意」文中的哪些單詞。讓我們從最簡單的注意力模型開始：

點積注意力

CS224N 中基本注意力的可視化分析

點積注意力等于每個語境向量 c_i 乘每個問題向量 q_j 的結果向量 e^i（上圖中的注意力分數）。之后，我們對 e^i 調用 softmax 函數來得到 α^i（上圖中的注意力分布）。softmax 保證了所有 e^i 的和是 1。最終，我們計算出 a_i：注意力分布 α^i 與對應問題向量（上圖中的注意力輸出）的積。點積注意力也可以用下面的式子來描述：

上面提到的注意力已作為基線注意力機制在 GitHub 代碼中實現。

更復雜的注意力——BiDAF 注意力

你可以用上述基本注意力層來運行 SQuAD 模型，但恐怕結果不盡人意。更復雜的注意力才能產出更好的性能。

我們來了解一下 BiDAF 論文（https://arxiv.org/abs/1611.01603）。該論文的主要觀點是注意力應該是雙向的——從語境到問題和從問題到語境。

我們首先計算相似度矩陣 S ∈ R^N×M，它包含每對語境和問題隱藏狀態(tài) (c_i , q_j) 的相似度分數。這里

c_i ? q_j 代表數組元素對應相乘，w_sim ∈ R 6h 是權重向量。S_ij 用下面的式子來表述：

之后，我們將展示 C2Q 注意力（與上面提到的點積注意力類似）。我們對 S 逐行調用 softmax 函數來獲得注意力分布 α^i，用它得到問題隱藏狀態(tài) q_j 的加權和，最后得出 C2Q 注意力的輸出 a_i。

現在，我們來執(zhí)行 Q2C 注意力。對于每一個語境位置 i ∈ {1, . . . , N}，我們取相似度矩陣對應行的最大值：

之后我們對結果向量 m ∈ R^N 調用 softmax 函數，而這將給出關于語境位置的注意力分布 β ∈ R^N。之后，我們使用 β 得到語境隱藏狀態(tài)的加權和 c_i，這也是 Q2C 注意力的輸出結果 c'。以下是相關公式：

最終對于每一個語境位置 c_i，我們結合 C2Q 注意力和 Q2C 注意力的輸出，下面是相關公式：

如果你覺得這一段令人費解，不用擔心，注意力確實是一個復雜的話題。你可以試著一邊喝茶，一邊閱讀這篇 BiDAF 論文。

iv) 輸出層

我們就快成功了。模型的最后一層是一個 softmax 輸出層，它幫助我們找出答案區(qū)間的開始和結束索引。我們通過結合語境隱藏狀態(tài)和之前層的注意力向量來得到混合的結果。這些混合的結果最終會成為全連接層的輸入，該層使用 softmax 來得到 p_start 向量（具備開始索引的概率）以及 p_end 結束（具備結束索引的概率）。我們知道大部分答案從開始索引到結束索引最多 15 個單詞，由此我們可以尋找使 p_start 與 p_end 乘積最大的開始和結束索引。

損失函數是開始和結束位置的交叉熵損失之和。它使用 Adam Optimizer 來獲得最小值。

我構建的最終模型比上面描述的要復雜一點，在利用測試集測試時獲得了 75 分的 F1 分數。還行！

下一步

關于未來探索的一些想法：

由于 CNN 運行起來比 RNN 快得多，并且更容易在 GPU 上并行計算，因此我最近一直都在用基于 CNN 的編碼器而非上述 RNN 編碼器進行實驗。

其他的注意力機制，如 Dynamic Co-attention（https://arxiv.org/abs/1611.01604）