99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀今天不談電商，只聊搜狐的大數(shù)據(jù)實踐
今天不談電商，只聊搜狐的大數(shù)據(jù)實踐
2017-06-03
收藏

今天不談電商，只聊搜狐的大數(shù)據(jù)實踐

整天看到、聽到的都是各個電商企業(yè)的大數(shù)據(jù)實踐，今天換個口味，聊聊互聯(lián)網(wǎng)行業(yè)，談誰呢？搜狐。雖然從業(yè)務線來劃分，搜狐有焦點、搜狐汽車、暢言、說吧……，不過在筆者看來這些統(tǒng)一都可以歸結(jié)為互聯(lián)網(wǎng)，業(yè)務模式基本是服務讀者，靠的是廣告和內(nèi)容。因此，如何精準地投放廣告、推送內(nèi)容就顯得尤為關鍵，而這正是搜狐大數(shù)據(jù)所要做的。

按搜狐大數(shù)據(jù)平臺負責人、研發(fā)中心高級經(jīng)理、搜狐-英特爾聯(lián)合創(chuàng)新實驗室搜狐負責人彭毅的話說，隨著大數(shù)據(jù)的熱度越來越高，大家對數(shù)據(jù)的價值越來越重視，運用數(shù)據(jù)指導業(yè)務的發(fā)展，滿足用戶不斷的新需要成為搜狐業(yè)務發(fā)展的新動力。在這樣的背景下，搜狐成立了一個大數(shù)據(jù)項目小組，內(nèi)部代號“大耳狐”。

據(jù)彭毅介紹，最開始他們做的主要是為了滿足業(yè)務部門對于數(shù)據(jù)處理平臺的計算需求，通俗地講就是提供平臺支撐。不過隨著業(yè)務的不斷發(fā)展，只做這些已經(jīng)難以滿足實際的業(yè)務需求，所以他們現(xiàn)在也在做更多的擴展，比如在滿足底層平臺技術和業(yè)務線需求的前提下，他們正在考慮深度學習方面的研究。

言歸正傳，還是從搜狐正式開始做大數(shù)據(jù)方面的工作，也就是大數(shù)據(jù)項目組的成立說起。從去年年初成立到現(xiàn)在不過一年多的時間，這一年彭毅和他的團隊可以說做了不少工作，從搭建平臺，包括技術選型（Hadoop、Spark等）、硬件選型到平臺部署、應用調(diào)試。這其中，他們參考了很多像Facebook、推特等廣泛使用大數(shù)據(jù)技術廠商所公開的一些資料，并最終在英特爾的協(xié)助下確定了現(xiàn)有的硬件選型，包括CPU型號、內(nèi)存大小、硬盤個數(shù)、網(wǎng)絡吞吐量等均做了權衡。

在此基礎上，搜狐部署了其基于開源Hadoop版本做的搜狐自有的Hadoop平臺。彭毅表示，在底層調(diào)優(yōu)上，包括計算力的高效使用，以及如何在英特爾架構平臺把性能發(fā)揮到極致，雙方進行了非常深入的合作。目前，經(jīng)過幾次擴容升級，當前搜狐大數(shù)據(jù)平臺已經(jīng)有1000臺物理機左右的規(guī)模，現(xiàn)有平臺數(shù)據(jù)在30PB。 

看得出大數(shù)據(jù)在搜狐內(nèi)部需求的迅猛增長，在采訪中，搜狐大數(shù)據(jù)平臺核心技術人員、搜狐研發(fā)中心高級研究員王帥表示，他們每天產(chǎn)生的日志數(shù)據(jù)在20TB左右，產(chǎn)生的各種數(shù)據(jù)在60TB-200TB之間，雖然無法與BAT同日而語，但就整個業(yè)界平均水平而言，搜狐每天所產(chǎn)生的量是非?？捎^的，到這也就不難理解為什么他們在短短一年間就進行了幾次擴容。 

在采訪中，王帥還特別舉了一個大數(shù)據(jù)實際應用的例子，廣告的精準投放。他說，用戶在使用各種產(chǎn)品時會產(chǎn)生各種行為數(shù)據(jù)，比如點擊了什么、瀏覽了什么、搜索了什么，這些數(shù)據(jù)可以實時收集，然后經(jīng)過卡夫卡集群做中間的數(shù)據(jù)調(diào)度，再把它們導入Hadoop集群，業(yè)務部門根據(jù)收集回來的數(shù)據(jù)做精準計算，像用戶畫像之類的，然后根據(jù)結(jié)果反推，進行精準的廣告投放。 

看起來似乎并不難，其實并不容易，最簡單地講，每個用戶每天的數(shù)據(jù)都在發(fā)生變化，所以每天都需要重新計算，這個計算量可想而知。當然，這只是其中一個方面，在談到做大數(shù)據(jù)過程中所遇到的挑戰(zhàn)時，彭毅也是百感交集。他說，幾乎每一塊，包括平臺、軟件、硬件、底層架構都可能遇到難題，比如搜狐遇到一個很實際的問題就是從舊有的Hadoop平臺遷移到新的平臺上，這其中他們費了不少力氣。 

而這其實也正是筆者相對即將應用大數(shù)據(jù)的用戶所說的話，大數(shù)據(jù)應用絕對不是像很多人說說那么簡單，做起來會涉及到方方面面的內(nèi)容，所以選幾個靠譜的合作商還是很有必要的。 

最后分享一下搜狐大數(shù)據(jù)團隊的人員構成，1000臺機器的集群，猜猜有多少人？在維護這個平臺的大概只有兩三個人，總的項目組成員也不過十幾個。據(jù)彭毅介紹，得益于英特爾的協(xié)助以及大耳狐平臺的開發(fā)，他們只有十幾個人就能完成這些研發(fā)、維護的工作。其中這十幾個人中有一部分負責和大數(shù)據(jù)平臺相關的維護工作，他們的職責是讓整個集群的運維管理更智能化；另一部分主要是做Hadoop大數(shù)據(jù)相關的技術研究，包括兼容性、前瞻性（大數(shù)據(jù)技術的演進）等，還有最后一部分是面向用戶的，如何更好地結(jié)合用戶需求做一些優(yōu)化、調(diào)整。 

“通過使用我們的產(chǎn)品，為用戶提供更為精準的內(nèi)容，是作為搜狐這樣一個媒體公司一直以來追求的目標”，彭毅這樣總結(jié)他們大數(shù)據(jù)應用的目標。而這或許應該是大數(shù)據(jù)對所有用戶的最終價值體現(xiàn)。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }