今天不談電商，只聊搜狐的大數(shù)據(jù)實(shí)踐

整天看到、聽到的都是各個(gè)電商企業(yè)的大數(shù)據(jù)實(shí)踐，今天換個(gè)口味，聊聊互聯(lián)網(wǎng)行業(yè)，談?wù)l呢？搜狐。雖然從業(yè)務(wù)線來劃分，搜狐有焦點(diǎn)、搜狐汽車、暢言、說吧……，不過在筆者看來這些統(tǒng)一都可以歸結(jié)為互聯(lián)網(wǎng)，業(yè)務(wù)模式基本是服務(wù)讀者，靠的是廣告和內(nèi)容。因此，如何精準(zhǔn)地投放廣告、推送內(nèi)容就顯得尤為關(guān)鍵，而這正是搜狐大數(shù)據(jù)所要做的。

按搜狐大數(shù)據(jù)平臺(tái)負(fù)責(zé)人、研發(fā)中心高級(jí)經(jīng)理、搜狐-英特爾聯(lián)合創(chuàng)新實(shí)驗(yàn)室搜狐負(fù)責(zé)人彭毅的話說，隨著大數(shù)據(jù)的熱度越來越高，大家對(duì)數(shù)據(jù)的價(jià)值越來越重視，運(yùn)用數(shù)據(jù)指導(dǎo)業(yè)務(wù)的發(fā)展，滿足用戶不斷的新需要成為搜狐業(yè)務(wù)發(fā)展的新動(dòng)力。在這樣的背景下，搜狐成立了一個(gè)大數(shù)據(jù)項(xiàng)目小組，內(nèi)部代號(hào)“大耳狐”。

據(jù)彭毅介紹，最開始他們做的主要是為了滿足業(yè)務(wù)部門對(duì)于數(shù)據(jù)處理平臺(tái)的計(jì)算需求，通俗地講就是提供平臺(tái)支撐。不過隨著業(yè)務(wù)的不斷發(fā)展，只做這些已經(jīng)難以滿足實(shí)際的業(yè)務(wù)需求，所以他們現(xiàn)在也在做更多的擴(kuò)展，比如在滿足底層平臺(tái)技術(shù)和業(yè)務(wù)線需求的前提下，他們正在考慮深度學(xué)習(xí)方面的研究。

言歸正傳，還是從搜狐正式開始做大數(shù)據(jù)方面的工作，也就是大數(shù)據(jù)項(xiàng)目組的成立說起。從去年年初成立到現(xiàn)在不過一年多的時(shí)間，這一年彭毅和他的團(tuán)隊(duì)可以說做了不少工作，從搭建平臺(tái)，包括技術(shù)選型（Hadoop、Spark等）、硬件選型到平臺(tái)部署、應(yīng)用調(diào)試。這其中，他們參考了很多像Facebook、推特等廣泛使用大數(shù)據(jù)技術(shù)廠商所公開的一些資料，并最終在英特爾的協(xié)助下確定了現(xiàn)有的硬件選型，包括CPU型號(hào)、內(nèi)存大小、硬盤個(gè)數(shù)、網(wǎng)絡(luò)吞吐量等均做了權(quán)衡。

在此基礎(chǔ)上，搜狐部署了其基于開源Hadoop版本做的搜狐自有的Hadoop平臺(tái)。彭毅表示，在底層調(diào)優(yōu)上，包括計(jì)算力的高效使用，以及如何在英特爾架構(gòu)平臺(tái)把性能發(fā)揮到極致，雙方進(jìn)行了非常深入的合作。目前，經(jīng)過幾次擴(kuò)容升級(jí)，當(dāng)前搜狐大數(shù)據(jù)平臺(tái)已經(jīng)有1000臺(tái)物理機(jī)左右的規(guī)模，現(xiàn)有平臺(tái)數(shù)據(jù)在30PB。 

看得出大數(shù)據(jù)在搜狐內(nèi)部需求的迅猛增長(zhǎng)，在采訪中，搜狐大數(shù)據(jù)平臺(tái)核心技術(shù)人員、搜狐研發(fā)中心高級(jí)研究員王帥表示，他們每天產(chǎn)生的日志數(shù)據(jù)在20TB左右，產(chǎn)生的各種數(shù)據(jù)在60TB-200TB之間，雖然無法與BAT同日而語，但就整個(gè)業(yè)界平均水平而言，搜狐每天所產(chǎn)生的量是非常可觀的，到這也就不難理解為什么他們?cè)诙潭桃荒觊g就進(jìn)行了幾次擴(kuò)容。 

在采訪中，王帥還特別舉了一個(gè)大數(shù)據(jù)實(shí)際應(yīng)用的例子，廣告的精準(zhǔn)投放。他說，用戶在使用各種產(chǎn)品時(shí)會(huì)產(chǎn)生各種行為數(shù)據(jù)，比如點(diǎn)擊了什么、瀏覽了什么、搜索了什么，這些數(shù)據(jù)可以實(shí)時(shí)收集，然后經(jīng)過卡夫卡集群做中間的數(shù)據(jù)調(diào)度，再把它們導(dǎo)入Hadoop集群，業(yè)務(wù)部門根據(jù)收集回來的數(shù)據(jù)做精準(zhǔn)計(jì)算，像用戶畫像之類的，然后根據(jù)結(jié)果反推，進(jìn)行精準(zhǔn)的廣告投放。 

看起來似乎并不難，其實(shí)并不容易，最簡(jiǎn)單地講，每個(gè)用戶每天的數(shù)據(jù)都在發(fā)生變化，所以每天都需要重新計(jì)算，這個(gè)計(jì)算量可想而知。當(dāng)然，這只是其中一個(gè)方面，在談到做大數(shù)據(jù)過程中所遇到的挑戰(zhàn)時(shí)，彭毅也是百感交集。他說，幾乎每一塊，包括平臺(tái)、軟件、硬件、底層架構(gòu)都可能遇到難題，比如搜狐遇到一個(gè)很實(shí)際的問題就是從舊有的Hadoop平臺(tái)遷移到新的平臺(tái)上，這其中他們費(fèi)了不少力氣。 

而這其實(shí)也正是筆者相對(duì)即將應(yīng)用大數(shù)據(jù)的用戶所說的話，大數(shù)據(jù)應(yīng)用絕對(duì)不是像很多人說說那么簡(jiǎn)單，做起來會(huì)涉及到方方面面的內(nèi)容，所以選幾個(gè)靠譜的合作商還是很有必要的。 

最后分享一下搜狐大數(shù)據(jù)團(tuán)隊(duì)的人員構(gòu)成，1000臺(tái)機(jī)器的集群，猜猜有多少人？在維護(hù)這個(gè)平臺(tái)的大概只有兩三個(gè)人，總的項(xiàng)目組成員也不過十幾個(gè)。據(jù)彭毅介紹，得益于英特爾的協(xié)助以及大耳狐平臺(tái)的開發(fā)，他們只有十幾個(gè)人就能完成這些研發(fā)、維護(hù)的工作。其中這十幾個(gè)人中有一部分負(fù)責(zé)和大數(shù)據(jù)平臺(tái)相關(guān)的維護(hù)工作，他們的職責(zé)是讓整個(gè)集群的運(yùn)維管理更智能化；另一部分主要是做Hadoop大數(shù)據(jù)相關(guān)的技術(shù)研究，包括兼容性、前瞻性（大數(shù)據(jù)技術(shù)的演進(jìn)）等，還有最后一部分是面向用戶的，如何更好地結(jié)合用戶需求做一些優(yōu)化、調(diào)整。 

“通過使用我們的產(chǎn)品，為用戶提供更為精準(zhǔn)的內(nèi)容，是作為搜狐這樣一個(gè)媒體公司一直以來追求的目標(biāo)”，彭毅這樣總結(jié)他們大數(shù)據(jù)應(yīng)用的目標(biāo)。而這或許應(yīng)該是大數(shù)據(jù)對(duì)所有用戶的最終價(jià)值體現(xiàn)。