廣點通背后的大數(shù)據(jù)技術秘密_大規(guī)模主題模型建模及其在騰訊業(yè)務中的應用(附PPT)一

12月14日，騰訊廣點通高級研究員靳志輝在2014中國大數(shù)據(jù)技術大會上發(fā)表演講，題為《Peacock: 大規(guī)模主題模型及其在騰訊業(yè)務中的應用》。騰訊廣點通高級研究員靳志輝（Rickjin）所在的廣點通部門，承接的流量一天接近150億，他希望用技術幫助騰訊更好地處理這些流量，具體而言就是通過大規(guī)模主題模型學習系統(tǒng) Peacock找出用戶在網(wǎng)絡數(shù)據(jù)深層的密碼?！拔覀冇X得互聯(lián)網(wǎng)需要挖掘長尾的語義，主題模型能夠突破傳統(tǒng)處理的一些限制挖掘數(shù)據(jù)里面深層的隱含的語義。以下為作者演講實錄。

相關閱讀：

21頁PPT重磅發(fā)布：Mariana——騰訊深度學習平臺的進展與應用

33頁PPT|騰訊社交網(wǎng)絡的大數(shù)據(jù)建模框架探索報告

重磅推薦：129頁PPT講述移動時代創(chuàng)業(yè)黃金法則 via：騰訊企鵝智酷

重磅！50頁PPT揭秘騰訊大數(shù)據(jù)平臺與推薦應用架構

36頁PPT│大數(shù)據(jù)分析關鍵技術在騰訊的應用服務創(chuàng)新

大家好，我來自騰訊的效果廣告平臺部，參與開發(fā)的廣告平臺是廣點通，廣點通目前是騰訊最大的效果廣告平臺，每天承接的流量接近150億PV，未來其實應該會達到200億PV的流量，這是非常海量的流量。作為技術人員，我們在騰訊的夢想就是希望騰訊變成更加技術型的公司。我們團隊在廣告部門所負責的主要工作是各種機器學習工具的開發(fā)，以及利用機器學習工具處理騰訊的用戶數(shù)據(jù)挖掘。之前互聯(lián)網(wǎng)廣告業(yè)務有兩大機器學習系統(tǒng)，第一大系統(tǒng) Logistic Regression，廣泛用于廣告點擊率預估；第二大系統(tǒng)就是隱含主題建模(Latent Topic Model)。這兩大系統(tǒng)早期都是由谷歌推動的，然后傳播到國內(nèi)的各個互聯(lián)網(wǎng)公司。當然，現(xiàn)在由于深度學習的興起，最近廣告業(yè)務中又增加了一套基于 DNN 的系統(tǒng)。

在隱含主題模型方向上，我們從 2010 年開始就不斷的做一些探索，我今天要講的Peacock 系統(tǒng)就是我們團隊在主題模型建模上的工作。今天的報告主要分成如下幾個部分：我先Demo一下我們Peacock系統(tǒng)是如何工作的,隨后簡單介紹一下主題模型的背景，接著介紹Peacock是怎么來實現(xiàn)大規(guī)模并行計算的，最后我們講一下主題模型在騰訊業(yè)務中的應用。

先來講幾個例子。用戶在網(wǎng)絡上的行為會留下很多的數(shù)據(jù)，其中最典型是一些文本數(shù)據(jù)，你搜索的一些文章，你發(fā)的微博，我們通過自然語言處理技術理解這些詞。第一個例子是用戶搜索了“紅酒木瓜湯”，這樣的Query給它展示什么廣告？ 單純的從關健詞來說，多是酒或者水果。第二個詞是“蘋果”，蘋果實際上是多義詞，可以是水果也可以是手機。第三個詞“莫代爾”，在座的估計很多人不知道這個詞是什么意思。

如果我們把這些詞輸入Peacock系統(tǒng)，我們看看系統(tǒng)會產(chǎn)生什么樣的輸出。我們可以看到Peacock 系統(tǒng)打印出很多行，每一行其實代表一個主題(topic)，“紅酒木瓜湯”系統(tǒng)給出的第一個主題的語義解釋是 “減肥、豐胸、美容” ，從廣告系統(tǒng)的角度，如果能夠展現(xiàn)跟女性減肥、豐胸更相關廣告，這個點擊率可能高。我們發(fā)現(xiàn)整個Peacock的系統(tǒng)處理文本語義的時候，不同的主題有不同的權重，展現(xiàn)的時候按照主題權重排序，而每個主題用一包詞描述。