廣點通背后的大數據技術秘密_大規(guī)模主題模型建模及其在騰訊業(yè)務中的應用(附PPT)一

12月14日，騰訊廣點通高級研究員靳志輝在2014中國大數據技術大會上發(fā)表演講，題為《Peacock: 大規(guī)模主題模型及其在騰訊業(yè)務中的應用》。騰訊廣點通高級研究員靳志輝（Rickjin）所在的廣點通部門，承接的流量一天接近150億，他希望用技術幫助騰訊更好地處理這些流量，具體而言就是通過大規(guī)模主題模型學習系統 Peacock找出用戶在網絡數據深層的密碼?！拔覀冇X得互聯網需要挖掘長尾的語義，主題模型能夠突破傳統處理的一些限制挖掘數據里面深層的隱含的語義。以下為作者演講實錄。

相關閱讀：

21頁PPT重磅發(fā)布：Mariana——騰訊深度學習平臺的進展與應用

33頁PPT|騰訊社交網絡的大數據建模框架探索報告

重磅推薦：129頁PPT講述移動時代創(chuàng)業(yè)黃金法則 via：騰訊企鵝智酷

重磅！50頁PPT揭秘騰訊大數據平臺與推薦應用架構

36頁PPT│大數據分析關鍵技術在騰訊的應用服務創(chuàng)新

大家好，我來自騰訊的效果廣告平臺部，參與開發(fā)的廣告平臺是廣點通，廣點通目前是騰訊最大的效果廣告平臺，每天承接的流量接近150億PV，未來其實應該會達到200億PV的流量，這是非常海量的流量。作為技術人員，我們在騰訊的夢想就是希望騰訊變成更加技術型的公司。我們團隊在廣告部門所負責的主要工作是各種機器學習工具的開發(fā)，以及利用機器學習工具處理騰訊的用戶數據挖掘。之前互聯網廣告業(yè)務有兩大機器學習系統，第一大系統 Logistic Regression，廣泛用于廣告點擊率預估；第二大系統就是隱含主題建模(Latent Topic Model)。這兩大系統早期都是由谷歌推動的，然后傳播到國內的各個互聯網公司。當然，現在由于深度學習的興起，最近廣告業(yè)務中又增加了一套基于 DNN 的系統。

在隱含主題模型方向上，我們從 2010 年開始就不斷的做一些探索，我今天要講的Peacock 系統就是我們團隊在主題模型建模上的工作。今天的報告主要分成如下幾個部分：我先Demo一下我們Peacock系統是如何工作的,隨后簡單介紹一下主題模型的背景，接著介紹Peacock是怎么來實現大規(guī)模并行計算的，最后我們講一下主題模型在騰訊業(yè)務中的應用。

先來講幾個例子。用戶在網絡上的行為會留下很多的數據，其中最典型是一些文本數據，你搜索的一些文章，你發(fā)的微博，我們通過自然語言處理技術理解這些詞。第一個例子是用戶搜索了“紅酒木瓜湯”，這樣的Query給它展示什么廣告？ 單純的從關健詞來說，多是酒或者水果。第二個詞是“蘋果”，蘋果實際上是多義詞，可以是水果也可以是手機。第三個詞“莫代爾”，在座的估計很多人不知道這個詞是什么意思。

如果我們把這些詞輸入Peacock系統，我們看看系統會產生什么樣的輸出。我們可以看到Peacock 系統打印出很多行，每一行其實代表一個主題(topic)，“紅酒木瓜湯”系統給出的第一個主題的語義解釋是 “減肥、豐胸、美容” ，從廣告系統的角度，如果能夠展現跟女性減肥、豐胸更相關廣告，這個點擊率可能高。我們發(fā)現整個Peacock的系統處理文本語義的時候，不同的主題有不同的權重，展現的時候按照主題權重排序，而每個主題用一包詞描述。