騰訊、阿里等分享的大數(shù)據(jù)應(yīng)用_數(shù)據(jù)分析師

從2008年60人規(guī)模的“Hadoop in China”技術(shù)沙龍，到當(dāng)下數(shù)千人規(guī)模的行業(yè)技術(shù)盛宴，七屆BDTC（大數(shù)據(jù)技術(shù)大會）完整地見證了中國大數(shù)據(jù)技術(shù)與應(yīng)用的變革，忠實(shí)地描繪了大數(shù)據(jù)領(lǐng)域內(nèi)的技術(shù)熱點(diǎn)，沉淀了無數(shù)極具價值的行業(yè)實(shí)戰(zhàn)經(jīng)驗(yàn)。。

為了更好地洞悉行業(yè)發(fā)展趨勢，了解企業(yè)技術(shù)挑戰(zhàn)，在BDTC 2014召開前夕，我們將帶大家一起對歷屆大會沉淀的知識進(jìn)行挖掘，分享各IT巨頭在大數(shù)據(jù)領(lǐng)域的探索之路。

大數(shù)據(jù)為企業(yè)的發(fā)展帶來了巨大商機(jī)，在各個企業(yè)中都發(fā)揮了良好的應(yīng)用，這里將為大家送上歷屆中國大數(shù)據(jù)技術(shù)大會PPT精粹的大數(shù)據(jù)應(yīng)用篇。

以下為歷屆中國大數(shù)據(jù)技術(shù)大會PPT精粹的大數(shù)據(jù)的應(yīng)用篇： 

騰訊精準(zhǔn)推薦中心廣告推薦負(fù)責(zé)人薛偉：騰訊廣點(diǎn)通——大數(shù)據(jù)之上的實(shí)時精準(zhǔn)推薦

PPT下載 ——2013年第七屆BDTC

廣點(diǎn)通是基于騰訊大社交平臺的效果廣告營銷產(chǎn)品，在騰訊大社交平臺海量用戶積累的基礎(chǔ)上，運(yùn)用大數(shù)據(jù)技術(shù)，進(jìn)行以人為核心的數(shù)據(jù)挖掘，實(shí)現(xiàn)精準(zhǔn)的廣告推薦。騰訊精準(zhǔn)推薦平臺是廣點(diǎn)通背后的支撐系統(tǒng)之一，具有數(shù)據(jù)海量、系統(tǒng)實(shí)時和算法精準(zhǔn)的特點(diǎn)。薛偉從數(shù)據(jù)、算法、系統(tǒng)等幾個方面對廣點(diǎn)通進(jìn)行了介紹。廣點(diǎn)通從推薦的視角看數(shù)據(jù)，形成用戶、物品和推薦位之間的交叉效應(yīng)；推薦本質(zhì)上是一種個性化排序，針對不同的推薦場景，采用不同的數(shù)據(jù)和不同的算法策略，其中算法包括規(guī)則算法、基于內(nèi)容的算法、協(xié)同過濾算法、圖算法和分類算法等；關(guān)于系統(tǒng)方面，采用了騰訊分布式數(shù)據(jù)倉庫和騰訊實(shí)時計算平臺，借助實(shí)時系統(tǒng)助力精準(zhǔn)推薦。

淘寶核心系統(tǒng)存儲系統(tǒng)研發(fā)專家楊志豐：OceanBase——淘寶結(jié)構(gòu)化大數(shù)據(jù)解決之道

PPT下載 ——2012年第六屆BDTC

楊志豐表示淘寶每天大約有6000萬用戶登錄以及20億PV。淘寶數(shù)據(jù)庫對于淘寶來說非常重要。幾乎所有淘寶業(yè)務(wù)都依賴淘寶數(shù)據(jù)庫。淘寶數(shù)據(jù)庫具備數(shù)以千計的數(shù)據(jù)庫服務(wù)器，需要同時應(yīng)對單表幾億至幾百億條的記錄以及每天幾億至幾百億次訪問。為了應(yīng)對大數(shù)據(jù)的沖擊，淘寶將以前的Oracle、小型機(jī)、高端存儲模式轉(zhuǎn)變到現(xiàn)今的MySQL、OceanBase、Hbase、MongoDB等數(shù)據(jù)庫，并使用普通PC服務(wù)器。楊志豐表示OceanBase可擴(kuò)展數(shù)千億條記錄、數(shù)百TB數(shù)據(jù)、數(shù)十萬QPS以及數(shù)萬TPS。同時具備實(shí)時容錯、自動故障恢復(fù)和99.999%高可用性。

奇虎360高級軟件工程師肖康：Storm在實(shí)時網(wǎng)絡(luò)攻擊檢測和分析的應(yīng)用與改進(jìn)

PPT下載 ——2013年第七屆BDTC

肖康從業(yè)務(wù)需求、解決方案、問題與改進(jìn)三個方面介紹了對訪問360的服務(wù)進(jìn)行實(shí)時統(tǒng)計和攻擊檢測的Storm平臺。使用storm主要是從實(shí)時、擴(kuò)展、容錯和靈活四方面考慮，能夠有效的提高時效性（10秒內(nèi)可以檢測到異常訪問）、吞吐（單機(jī)群一個topology每個bolt10個并發(fā)，處理10Gb/s）、對業(yè)務(wù)影響（流量走光纖旁路給storm處理，對業(yè)務(wù)邏輯沒有影響，不需要做任何修改），但是storm在穩(wěn)定性、可用性和易用性方面仍存在著一些問題。肖康列舉了其中的8個問題，并相應(yīng)的給出了其改進(jìn)方法，并提出了公司的未來工作。

小米軟件開發(fā)工程師馮宏華：HBase在小米的應(yīng)用與擴(kuò)展

PPT下載——2013年第七屆BDTC

馮宏華主要介紹了HBase在小米的應(yīng)用現(xiàn)狀、小米對HBase已做的改進(jìn)和擴(kuò)展以及進(jìn)行中/計劃中的改進(jìn)與擴(kuò)展。HBase目前的集群規(guī)模為15個HBase集群，包括9個在線集群、2個離線處理集群和4個測試集群，服務(wù)于小米內(nèi)部的十多個不同業(yè)務(wù)，具有幾百臺機(jī)器，每個數(shù)據(jù)節(jié)點(diǎn)為24TB。主要應(yīng)用場景為小米云服務(wù)、米聊消息全存儲、小米推送服務(wù)、MIUI離線分析和多看離線分析；小米對HBase已做的改進(jìn)包括Delete的語義校正、可控粒度跨機(jī)房備份、寫吞吐性能優(yōu)化等多方面；計劃的改進(jìn)與擴(kuò)展包括Compact優(yōu)化、Failover優(yōu)化、Master重構(gòu)、多租戶等方面。

中國移動通信研究院技術(shù)經(jīng)理徐萌：中國移動大數(shù)據(jù)應(yīng)用實(shí)踐

PPT下載——2013年第七屆BDTC

她表示中移動移動互聯(lián)網(wǎng)用戶流量激增，手機(jī)數(shù)據(jù)化、寬帶化趨勢明顯，亟需深挖大數(shù)據(jù)的價值。這與中國智能交通協(xié)會理事長吳忠澤在會上的觀點(diǎn)不謀而合。中國移動網(wǎng)絡(luò)規(guī)模和擁有用戶數(shù)全球第一。在用戶流量激增時，手機(jī)數(shù)據(jù)化、寬帶化趨勢很明顯。而在這樣的發(fā)展趨勢下，大數(shù)據(jù)處理核心基礎(chǔ)轉(zhuǎn)變很明顯。在傳統(tǒng)數(shù)據(jù)分析處理時代，所用的硬件和軟件都不再適應(yīng)。所以大數(shù)據(jù)處理的時代，要尤其關(guān)注MPP DW+Hadoop的應(yīng)用。在實(shí)踐中，中國移動也發(fā)現(xiàn)關(guān)于使用Hadoop的一些問題：版本不一，缺乏規(guī)劃；調(diào)優(yōu)復(fù)雜，門檻較高；自有人員不足，控制力弱。為此，中國移動將基于開源Hadoop軟件的大云大數(shù)據(jù)平臺BC-Hadoop開源，嘗試開源模式！

中科院計算所副研究員查禮：大數(shù)據(jù)技術(shù)如何用于傳統(tǒng)信息系統(tǒng)

PPT下載——2013年第七屆BDTC

通信、網(wǎng)絡(luò)、存儲、傳感器等電子信息技術(shù)的飛速發(fā)展導(dǎo)致了數(shù)據(jù)規(guī)模的極大增加，傳統(tǒng)的存儲并處理這些數(shù)據(jù)的技術(shù)手段遇到了瓶頸，同時，數(shù)據(jù)爆炸對數(shù)據(jù)存儲與處理效能提出了挑戰(zhàn)。高速發(fā)展的數(shù)據(jù)型互聯(lián)網(wǎng)企業(yè)需要連續(xù)的系統(tǒng)擴(kuò)展能力，這需要解決數(shù)據(jù)快速增長與數(shù)據(jù)中心擴(kuò)容周期緩慢的矛盾；如何維持低成本曲線和高性能曲線是現(xiàn)實(shí)問題，這是數(shù)據(jù)業(yè)務(wù)深度的不斷加強(qiáng)和數(shù)據(jù)處理性能現(xiàn)狀的矛盾。數(shù)據(jù)計算技術(shù)呈現(xiàn)規(guī)模大、計算快和檢索準(zhǔn)的發(fā)展態(tài)勢，Hadoop這樣的大數(shù)據(jù)技術(shù)源于互聯(lián)網(wǎng)應(yīng)用，需求和游戲規(guī)則的不同導(dǎo)致必須經(jīng)過改造才能適用于傳統(tǒng)信息系統(tǒng)應(yīng)用。

Teredata天睿公司大中華區(qū)Aster事業(yè)部總監(jiān)孔宇華：駕馭大數(shù)據(jù)——如何實(shí)現(xiàn)大數(shù)據(jù)的應(yīng)用性

PPT下載——2012年第六屆BDTC

孔宇華主要講述了如何來讓大數(shù)據(jù)更加地平民化、更加大眾化。他表示，大數(shù)據(jù)是天時地利人和，讓它發(fā)揮價值也是需要天時地利人和的。不僅在技術(shù)方面、在人員方面、流程方面都需要注意。在大數(shù)據(jù)方面，從應(yīng)用看企業(yè)需求，從易用看維護(hù)，從速度看如何實(shí)現(xiàn)數(shù)據(jù)精華。企業(yè)在開發(fā)新的大數(shù)據(jù)平臺、大數(shù)據(jù)產(chǎn)品的時候要考慮到易用，要考慮到你的用戶和后端的人員是哪些人，他們是用SQL的還是做代碼的。你是要用大數(shù)據(jù)來解決什么樣的問題以及哪方面的問題，之后再從這個應(yīng)用的需求方面再推斷大數(shù)據(jù)平臺和技術(shù)上的需求。

人云科技創(chuàng)始人兼總經(jīng)理吳朱華：中小企業(yè)Big Data解決之道

PPT下載——2012年第六屆BDTC

吳朱華表示海量數(shù)據(jù)呈現(xiàn)“4V + 1C”的特點(diǎn)。即Variety：一般包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多類數(shù)據(jù)，而且它們處理和分析方式有區(qū)別；Volume：通過各種設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級別是常態(tài)；Velocity：要求快速處理，存在時效性；Vitality：分析和處理模型必須快速變化，因?yàn)樾枨笤谧?；Complexity：處理和分析的難度非常大。他認(rèn)為中小企業(yè)面對大數(shù)據(jù)的解決之道應(yīng)遵循采集、導(dǎo)入/處理、查詢、挖掘的流程。另外，他還介紹了自家的YunTable。這是在傳統(tǒng)的分布式數(shù)據(jù)庫和新的NoSQL技術(shù)的基礎(chǔ)上發(fā)展而來的新一代分布式數(shù)據(jù)庫。通過它能構(gòu)建一個百臺級別的分布式集群來管理PB級別的海量數(shù)據(jù)。

凱備份技術(shù)總監(jiān)兼高級架構(gòu)師盧億雷：Hadoop在網(wǎng)盤和在線備份的應(yīng)用與挑戰(zhàn)

PPT下載——2012年第六屆BDTC

凱備份（Carbonite China）技術(shù)總監(jiān)兼高級架構(gòu)師盧億雷闡述了HDFS和HBase在網(wǎng)盤和在線備份的應(yīng)用、大數(shù)據(jù)的挖掘與處理、小文件的存儲、備份文件至云端、文件全路徑存放方式以及Namespace的管理等方面的問題。他還談到MongoDB的經(jīng)驗(yàn)分享：盡量創(chuàng)建索引；限定返回結(jié)果條數(shù)；Filter只返回需要的數(shù)據(jù)；優(yōu)化主鍵，盡量自己控制主健ID；UUID主鍵使用BinaryData數(shù)據(jù)類型存儲；注意文件大小不超過16M。最后，他補(bǔ)充道，用什么技術(shù)不是關(guān)鍵，關(guān)鍵是怎么用：明確需求，找準(zhǔn)關(guān)注點(diǎn)；選擇方法，要成熟技術(shù)，均衡復(fù)雜度；高效運(yùn)營。

精誠資訊云中心Big Data事業(yè)部首席顧問陳昭宇：企業(yè)應(yīng)用Hadoop的最佳模式

PPT下載——2012年第六屆BDTC

企業(yè)使用大數(shù)據(jù)面臨著存儲、計算、管理和分析等方面的挑戰(zhàn)，Hadoop作為大數(shù)據(jù)處理的最佳工具，企業(yè)在應(yīng)用時仍然面臨著部署、應(yīng)用和運(yùn)維等眾多方面的挑戰(zhàn)，陳昭宇用具體實(shí)例介紹了使用Etu Appliance的優(yōu)勢，這也是企業(yè)搭建Hadoop平臺的最佳模式。相比自建Hadoop集群，采用Etu一體機(jī)，技術(shù)門檻低、人才招聘容易、上線時間迅速預(yù)計系統(tǒng)性能良好。同時，它還具有快速部署、性能優(yōu)化、水平擴(kuò)展、容錯機(jī)制、安全簡便等特性，特別適合海量數(shù)據(jù)處理。