翻譯 | CDA數(shù)據(jù)分析研究院，轉(zhuǎn)載需授權(quán)

原文 | https://blog.statsbot.co/chatbots-machine-learning-e83698b1a91e

你是否曾與蘋果的Siri，亞馬遜的Alexa，微軟的Cortana或其他助手交談以設(shè)置鬧鐘、給朋友打電話或安排會(huì)議？許多人可能會(huì)說對的我的確這么做過，盡管會(huì)話助手在常見和日常任務(wù)中都很有用，但很難迫使會(huì)話助手就一般性的，有時(shí)是哲學(xué)性質(zhì)的話題進(jìn)行討論。

Statsbot團(tuán)隊(duì)邀請了數(shù)據(jù)科學(xué)家，dmitry Persiyanov，來解釋如何用神經(jīng)會(huì)話模型修復(fù)這個(gè)問題，以及如何使用機(jī)器學(xué)習(xí)來創(chuàng)建聊天機(jī)器人。

通過自然語言與機(jī)器交互是通用人工智能的要求之一。人工智能的這一領(lǐng)域被稱為對話系統(tǒng)，語音對話系統(tǒng)或聊天機(jī)器人。機(jī)器需要為你提供信息豐富的答案，維持對話的上下文，并且難以與人類（理想情況下）區(qū)分。

在實(shí)踐中，最后一項(xiàng)要求尚未達(dá)到，但幸運(yùn)的是，如果機(jī)器人有用，并且是一個(gè)有趣的溝通者，可以進(jìn)行一些有趣的溝通，那么人類就準(zhǔn)備好與他們進(jìn)行對話了。

對話系統(tǒng)目前有兩種主要類型：面向目標(biāo)（Siri，Alexa，Cortana等）和一般會(huì)話（Microsoft Tay bot）。

前者幫助人們使用自然語言解決日常問題，而后者嘗試與人們進(jìn)行范圍廣泛的對話。

在這篇文章中，我將給出一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的一般會(huì)話對話系統(tǒng)進(jìn)行比較概述。我將描述主要的架構(gòu)類型和推進(jìn)它們的方法。

我希望這篇文章最終能成為每個(gè)想要用機(jī)器學(xué)習(xí)創(chuàng)建聊天機(jī)器人的人的切入點(diǎn)。如果你讀完這篇文章直到最后，你就可以訓(xùn)練自己的會(huì)話模型了。

準(zhǔn)備好了么？

讓我們開始吧！

我將參考循環(huán)神經(jīng)網(wǎng)絡(luò)和單詞嵌入，所以你應(yīng)該知道它們是如何工作的，以便輕松地理解這篇文章。

生成和選擇模型

一般會(huì)話模型可以簡單地分為兩種主要類型 - 生成模型和選擇性（或排名）模型。此外，混合模型也是可能的。但常見的是，這些模型構(gòu)思了對話語境的幾個(gè)句子并預(yù)測了這種語境的答案。在下圖中，你可以看到此類系統(tǒng)的說明。

在這篇文章中，當(dāng)我說“網(wǎng)絡(luò)使用單詞序列”或“單詞被傳遞給RNN”時(shí)，我的意思是單詞嵌入被傳遞到網(wǎng)絡(luò)，而不是單詞ID。

關(guān)于對話數(shù)據(jù)表示的注釋

在深入討論之前，我們應(yīng)該討論一下對話數(shù)據(jù)集是什么樣的。下面描述的所有模型都是成對訓(xùn)練（上下文，回復(fù)）。上下文是在回復(fù)之前的幾個(gè)句子（可能是一個(gè)）。 這個(gè)句子只是它的詞匯表中的一系列標(biāo)記。

為了更好地理解，請查看表格。從兩個(gè)人之間的原始對話中提取了三個(gè)樣本：

- 嗨！ - 嗨，你好。 - 你幾歲？ - 二十二。你呢？ - 我也是！哇！

請注意批處理中每個(gè)句子末尾的“ ”（序列結(jié)尾）標(biāo)記。這個(gè)特殊標(biāo)記有助于神經(jīng)網(wǎng)絡(luò)理解句子的邊界并明智地更新其內(nèi)部狀態(tài)。

某些模型可能會(huì)使用來自數(shù)據(jù)的附加元信息，例如說話者的ID，性別，情感等。

現(xiàn)在，我們準(zhǔn)備繼續(xù)討論生成模型。

生成模型

我們從最簡單的會(huì)話模型開始，“ 神經(jīng)對話模型”。

為了對對話進(jìn)行建模，本文采用了一個(gè)序列到序列（seq2seq）框架，該框架出現(xiàn)在神經(jīng)機(jī)器翻譯領(lǐng)域，并成功地適應(yīng)了對話問題。該體系結(jié)構(gòu)由兩個(gè)具有不同參數(shù)集的RNN組成。左邊的一個(gè)（對應(yīng)于ABC標(biāo)記）稱為編碼器， 而右邊的一個(gè)（對應(yīng)于 -WXYZ標(biāo)記）稱為解碼器。

編碼器如何工作的？

編碼器RNN每次構(gòu)造一個(gè)上下文的標(biāo)記序列，并更新它的隱藏狀態(tài)。在處理整個(gè)上下文序列之后，它產(chǎn)生一個(gè)最終隱藏的狀態(tài)，這個(gè)隱藏狀態(tài)結(jié)合了上下文的意義并用于生成答案。

解碼器如何工作？

解碼器的目標(biāo)是從編碼器獲取上下文表示并生成一個(gè)答案。為此目的，在解碼器RNN中維護(hù)詞匯上的softmax層。在每個(gè)時(shí)間步長中，該層采用解碼器隱藏狀態(tài)并輸出其詞匯表中所有單詞的概率分布。

以下是生成回復(fù)的工作原理：

1. 使用最終編碼器隱藏狀態(tài)（h_0）初始化解碼器隱藏狀態(tài)。
2. 傳遞標(biāo)記作為解碼器的第一個(gè)輸入并更新隱藏狀態(tài)（h_1）
3. 從softmax層（使用h1）采樣（或以最大概率取一個(gè)）第一個(gè)字（w1）。
4. 將此單詞作為輸入傳遞，更新隱藏狀態(tài)（h1 - > h2）并生成新單詞（w_2）。
5. 重復(fù)步驟4，直到生成標(biāo)記或超出最大答案長度。

解碼器中生成回復(fù)，適用于那些喜歡公式而不是單詞的人。這里，w_t是時(shí)間步長t上采樣的單詞； θ是解碼器參數(shù)，phi是密集層參數(shù)，g表示密集層，p-hat是時(shí)間步長t詞匯表的概率分布。

在生成回復(fù)時(shí)使用argmax，當(dāng)使用相同的上下文時(shí)，總是會(huì)得到相同的答案（argmax是確定性的，而采樣是隨機(jī)的）。

我上面描述的過程只是模型推理部分，但也有模型訓(xùn)練部分，它以稍微不同的方式進(jìn)行工作 - 在每個(gè)解碼步驟，我們使用正確的單詞y_t而不是生成的單詞（w_t）作為輸入。換句話說，在訓(xùn)練時(shí)，解碼器使用正確的回復(fù)序列，但刪除了最后一個(gè)標(biāo)記并且標(biāo)記被預(yù)先添加。

解碼器推斷階段的說明。前一時(shí)間步長的輸出作為當(dāng)前時(shí)間步長的輸入。

目標(biāo)是在每個(gè)時(shí)間步長上最大化限度的提高下一個(gè)正確的單詞的概率。更簡單地說，我們要求網(wǎng)絡(luò)通過為序列提供正確的前綴來預(yù)測序列中的下一個(gè)單詞。通過最大似然訓(xùn)練進(jìn)行訓(xùn)練，這導(dǎo)致經(jīng)典的交叉熵?fù)p失：

這里，y_t是在時(shí)間步驟t的回復(fù)中的正確答案。

生成模型的修改

現(xiàn)在我們對序列到序列框架有了基本的了解。我們?nèi)绾螢檫@些模型添加更多泛化能力？有很多方法：

1. 向編碼器或/和解碼器RNN 添加更多層。
2. 使用雙向編碼器。由于解碼器的正向生成結(jié)構(gòu)，使得解碼器無法實(shí)現(xiàn)雙向傳輸。
3. 試驗(yàn)嵌入。你可以預(yù)先初始化單詞嵌入，也可以與模型一起從頭開始學(xué)習(xí)它們。
4. 使用更高級(jí)的回復(fù)生成過程 - beamsearch。我的想法是不“貪婪地”生成答案（通過將argmax用于下一個(gè)單詞），但考慮更長鏈詞的概率并在其中進(jìn)行選擇。
5. 使你的編碼器或/和解碼器卷積的。Convnet可能比RNN更快地工作，因?yàn)樗鼈兛梢杂行У夭⑿谢?/span>
6. 使用注意機(jī)制。注意機(jī)制最初是在神經(jīng)機(jī)器翻譯論文中引入的，并且已經(jīng)成為一種非常流行且強(qiáng)大的技術(shù)。
7. 在每次執(zhí)行步驟時(shí)，將最終編碼器狀態(tài)傳遞給解碼器。解碼器僅查看最終編碼器狀態(tài)一次，然后可能會(huì)忘記它。一個(gè)好的主意是將其與單詞嵌入一起傳遞給解碼器。
8. 不同編碼器/解碼器狀態(tài)大小。我上面描述的模型要求編碼器和解碼器具有相同的隱藏狀態(tài)大?。ㄒ?yàn)槲覀冇米罱K編碼器的狀態(tài)初始化解碼器狀態(tài)）。你可以通過從編碼器最終狀態(tài)向初始解碼器狀態(tài)添加投影（密集）層來消除此要求。
9. 使用字符而不是單詞或字節(jié)對編碼來構(gòu)建詞匯表。字符級(jí)模型是值得考慮的，因?yàn)樗鼈兊脑~匯量較小，并且可以理解詞匯中沒有的單詞，因此它們的工作速度更快。字節(jié)對編碼（BPE）是兩全其美的。我們的想法是在序列中找到最常見的指標(biāo)對，并將它們合并為一個(gè)指標(biāo)。

生成模型的問題

稍后，我將為你提供流行實(shí)現(xiàn)的鏈接，以便你可以訓(xùn)練自己的對話模型。但現(xiàn)在我想告訴你一些你將面對的生成模型的常見問題。

通用回復(fù)

通過極大似然訓(xùn)練的生成模型傾向于預(yù)測一般回復(fù)的高概率，例如“好”，“否”，“是”和“我不知道”的廣泛情境。

回復(fù)不一致/如何合并元數(shù)據(jù)

seq2seq模型的第二個(gè)主要問題是它們可以為釋義的上下文生成不一致的回復(fù)，但具有相同的意義：

最常被引用的與之相關(guān)的工作是“ 基于角色的神經(jīng)對話模型”。作者為每個(gè)話語使用說話者的ID來產(chǎn)生答案，這不僅取決于編碼器狀態(tài)，還取決于說話者的嵌入。揚(yáng)聲器嵌入與模型一起從頭開始學(xué)習(xí)。

使用這個(gè)想法，你可以使用你擁有的不同元數(shù)據(jù)來擴(kuò)充你的模型。例如，如果你知道說話的時(shí)態(tài)（過去/現(xiàn)在/將來），你可以在推理時(shí)以不同的時(shí)態(tài)生成回復(fù)！你可以調(diào)整回復(fù)者的性格（性別，年齡，情緒）或回復(fù)屬性（時(shí)態(tài)，情緒，問題/非問題等），同時(shí)你有這些數(shù)據(jù)來訓(xùn)練模型。

為了你的練習(xí)

下面是一些不同框架中的seq2seq模型，如果你可以打開的話，可以看一下，都是一些外網(wǎng)的模型數(shù)據(jù)之類的。

TensorFlow

• 谷歌官方的實(shí)現(xiàn)
• 另外兩個(gè)實(shí)現(xiàn)，你可能會(huì)覺得使用PyTorch更舒服（seq2seq用于翻譯，但你可以使用相同的代碼進(jìn)行對話）
• 使用seq2seq進(jìn)行翻譯（你可以使用相同的代碼但是使用對話的數(shù)據(jù)）
• 來自IBM的實(shí)現(xiàn)

Keras

• 流行的實(shí)現(xiàn)方法和良好的API

論文和指南

• 關(guān)于序列到序列聊天機(jī)器人的教程
• 注意機(jī)制 - Bahdanau的注意 - Luong的注意 - 使用多頭注意+前饋網(wǎng)絡(luò)機(jī)器翻譯任務(wù)的最新技術(shù)。 - 關(guān)于RNN注意的教程
• 字節(jié)對編碼紙
• ConvS2S論文

深入選擇性模型

完成生成模型之后，讓我們了解選擇性神經(jīng)對話模型的工作原理（它們通常被稱為DSSM，代表深層語義相似性模型）。

選擇模型不是估計(jì)概率p（回復(fù)|上下文; w），而是學(xué)習(xí)相似性函數(shù) - sim（回復(fù)，上下文; w），其中回復(fù)是預(yù)定義的可能答案池中的元素之一（參見下圖）。

直覺是網(wǎng)絡(luò)將上下文和候選答案作為輸入，并返回它們彼此之間的可信度。

選擇性（或排名或dssm）網(wǎng)絡(luò)由兩個(gè)“塔”組成：第一個(gè)用于上下文，第二個(gè)用于響應(yīng)。每座塔都可能擁有你想要的任何結(jié)構(gòu)。塔取其輸入并將其嵌入語義向量空間（圖中的向量R和C）。然后，計(jì)算上下文和應(yīng)答向量之間的相似性，即使用余弦相似度。

在推理時(shí)，我們可以計(jì)算給定上下文和所有可能答案之間的相似性，并選擇具有最大相似性的答案。

為了訓(xùn)練模型，我們使用三重?fù)p失。Triplet loss在triplets上定義(context, replycorrect, replywrong)，等于:

選擇性模型的三重?fù)p失。它與SVM中的最大邊際損失非常相似。

什么是replywrong？它也被稱為“負(fù)面”樣本（replycorrect稱為“正面”樣本），在最簡單的情況下，它是來自答案池的隨機(jī)回復(fù)。因此，通過最小化這種損失，我們以絕對值不提供信息的排序方式學(xué)習(xí)相似性函數(shù)。但請記住，在推理階段，我們只需要比較所有回復(fù)的分?jǐn)?shù)，并選擇一個(gè)得分最高的。

選擇模型中的抽樣方案

你可能會(huì)問，我們?yōu)槭裁匆獜臄?shù)據(jù)集中隨機(jī)抽取樣本？也許使用更復(fù)雜的抽樣方案是個(gè)好主意？確實(shí)如此。如果你仔細(xì)觀察，你可能會(huì)發(fā)現(xiàn)三元組的數(shù)量是O（n3），因此正確選擇負(fù)數(shù)是很重要的，因?yàn)槲覀儫o法完成所有這些（大數(shù)據(jù)，你知道）。

例如，我們可以從池中抽取K個(gè)隨機(jī)否定回復(fù)，對其進(jìn)行評分，并選擇最高得分的那個(gè)作為否定答案。這種方案被稱為“硬負(fù)面”開采。如果你想深入挖掘，請閱讀“ 深度嵌入學(xué)習(xí)中的采樣事項(xiàng) ”一文。

生成性與選擇性：利弊

此時(shí)，我們已經(jīng)了解了生成模型和選擇模型的工作原理。但是你選擇哪種類型？這完全取決于你的需求。下表是為了幫助你做出決定。

最難的部分是評估

其中一個(gè)最重要的問題是如何評估神經(jīng)對話模型。有許多自動(dòng)指標(biāo)用于評估聊天機(jī)器人與機(jī)器學(xué)習(xí)：

• 選擇性模型的精確度/召回率/準(zhǔn)確度
• 生成模型的困惑/損失值
• BLEU / METEOR從機(jī)器翻譯得分

但是最近的一些研究)表明，所有這些指標(biāo)都與人類對特定情境的答復(fù)適當(dāng)性的判斷密切相關(guān)。

例如，假設(shè)你有上下文“Statsbot是否破壞了我們處理數(shù)據(jù)的方式”？，然后回答“當(dāng)然是這樣”。但是你的模型會(huì)回答例如“這絕對是真的。”之類的話來回答上下文。上面顯示的所有指標(biāo)都會(huì)給出這樣一個(gè)答案的低分，但我們可以看到這個(gè)答案與你的數(shù)據(jù)提供的一樣好。

因此，目前最合適的方法是使用目標(biāo)指標(biāo)對模型進(jìn)行人工評估，然后選擇最佳模型。是的，這似乎是一個(gè)昂貴的過程（你需要使用像Amazon Mechanical Turk這樣的東西來評估模型），但是目前我們沒有更好的東西。無論如何，研究界都朝這個(gè)方向發(fā)展。

為什么我們不能在智能手機(jī)中看到它們？

最后，我們準(zhǔn)備創(chuàng)建最強(qiáng)大，最智能的會(huì)話模型，通用的人工智能，對吧？如果是這樣的話，擁有數(shù)千名研究人員的蘋果，亞馬遜和谷歌等公司已經(jīng)將它們與個(gè)人助理產(chǎn)品一起部署。

盡管在這個(gè)領(lǐng)域做了很多工作，神經(jīng)對話系統(tǒng)還沒有準(zhǔn)備好在開放領(lǐng)域與人交談，并為他們提供信息/有趣/有用的答案。但至于封閉領(lǐng)域（例如技術(shù)支持或問答系統(tǒng)），有成功的案例。

總結(jié)

會(huì)話模型起初可能看起來很難掌握（而且不僅僅只有一開始）。當(dāng)你準(zhǔn)備練習(xí)時(shí)，選擇一些簡單的架構(gòu)，從一個(gè)流行的數(shù)據(jù)集或者自己的數(shù)據(jù)集（Twitter，Reddit或其他）中選取一個(gè)，并在上面訓(xùn)練一個(gè)會(huì)話模型。