騰訊、阿里等分享的大數(shù)據(jù)應用_數(shù)據(jù)分析師

從2008年60人規(guī)模的“Hadoop in China”技術沙龍，到當下數(shù)千人規(guī)模的行業(yè)技術盛宴，七屆BDTC（大數(shù)據(jù)技術大會）完整地見證了中國大數(shù)據(jù)技術與應用的變革，忠實地描繪了大數(shù)據(jù)領域內的技術熱點，沉淀了無數(shù)極具價值的行業(yè)實戰(zhàn)經(jīng)驗。。

為了更好地洞悉行業(yè)發(fā)展趨勢，了解企業(yè)技術挑戰(zhàn)，在BDTC 2014召開前夕，我們將帶大家一起對歷屆大會沉淀的知識進行挖掘，分享各IT巨頭在大數(shù)據(jù)領域的探索之路。

大數(shù)據(jù)為企業(yè)的發(fā)展帶來了巨大商機，在各個企業(yè)中都發(fā)揮了良好的應用，這里將為大家送上歷屆中國大數(shù)據(jù)技術大會PPT精粹的大數(shù)據(jù)應用篇。

以下為歷屆中國大數(shù)據(jù)技術大會PPT精粹的大數(shù)據(jù)的應用篇： 

騰訊精準推薦中心廣告推薦負責人薛偉：騰訊廣點通——大數(shù)據(jù)之上的實時精準推薦

PPT下載 ——2013年第七屆BDTC

廣點通是基于騰訊大社交平臺的效果廣告營銷產(chǎn)品，在騰訊大社交平臺海量用戶積累的基礎上，運用大數(shù)據(jù)技術，進行以人為核心的數(shù)據(jù)挖掘，實現(xiàn)精準的廣告推薦。騰訊精準推薦平臺是廣點通背后的支撐系統(tǒng)之一，具有數(shù)據(jù)海量、系統(tǒng)實時和算法精準的特點。薛偉從數(shù)據(jù)、算法、系統(tǒng)等幾個方面對廣點通進行了介紹。廣點通從推薦的視角看數(shù)據(jù)，形成用戶、物品和推薦位之間的交叉效應；推薦本質上是一種個性化排序，針對不同的推薦場景，采用不同的數(shù)據(jù)和不同的算法策略，其中算法包括規(guī)則算法、基于內容的算法、協(xié)同過濾算法、圖算法和分類算法等；關于系統(tǒng)方面，采用了騰訊分布式數(shù)據(jù)倉庫和騰訊實時計算平臺，借助實時系統(tǒng)助力精準推薦。

淘寶核心系統(tǒng)存儲系統(tǒng)研發(fā)專家楊志豐：OceanBase——淘寶結構化大數(shù)據(jù)解決之道

PPT下載 ——2012年第六屆BDTC

楊志豐表示淘寶每天大約有6000萬用戶登錄以及20億PV。淘寶數(shù)據(jù)庫對于淘寶來說非常重要。幾乎所有淘寶業(yè)務都依賴淘寶數(shù)據(jù)庫。淘寶數(shù)據(jù)庫具備數(shù)以千計的數(shù)據(jù)庫服務器，需要同時應對單表幾億至幾百億條的記錄以及每天幾億至幾百億次訪問。為了應對大數(shù)據(jù)的沖擊，淘寶將以前的Oracle、小型機、高端存儲模式轉變到現(xiàn)今的MySQL、OceanBase、Hbase、MongoDB等數(shù)據(jù)庫，并使用普通PC服務器。楊志豐表示OceanBase可擴展數(shù)千億條記錄、數(shù)百TB數(shù)據(jù)、數(shù)十萬QPS以及數(shù)萬TPS。同時具備實時容錯、自動故障恢復和99.999%高可用性。

奇虎360高級軟件工程師肖康：Storm在實時網(wǎng)絡攻擊檢測和分析的應用與改進

PPT下載 ——2013年第七屆BDTC

肖康從業(yè)務需求、解決方案、問題與改進三個方面介紹了對訪問360的服務進行實時統(tǒng)計和攻擊檢測的Storm平臺。使用storm主要是從實時、擴展、容錯和靈活四方面考慮，能夠有效的提高時效性（10秒內可以檢測到異常訪問）、吞吐（單機群一個topology每個bolt10個并發(fā)，處理10Gb/s）、對業(yè)務影響（流量走光纖旁路給storm處理，對業(yè)務邏輯沒有影響，不需要做任何修改），但是storm在穩(wěn)定性、可用性和易用性方面仍存在著一些問題。肖康列舉了其中的8個問題，并相應的給出了其改進方法，并提出了公司的未來工作。

小米軟件開發(fā)工程師馮宏華：HBase在小米的應用與擴展

PPT下載——2013年第七屆BDTC

馮宏華主要介紹了HBase在小米的應用現(xiàn)狀、小米對HBase已做的改進和擴展以及進行中/計劃中的改進與擴展。HBase目前的集群規(guī)模為15個HBase集群，包括9個在線集群、2個離線處理集群和4個測試集群，服務于小米內部的十多個不同業(yè)務，具有幾百臺機器，每個數(shù)據(jù)節(jié)點為24TB。主要應用場景為小米云服務、米聊消息全存儲、小米推送服務、MIUI離線分析和多看離線分析；小米對HBase已做的改進包括Delete的語義校正、可控粒度跨機房備份、寫吞吐性能優(yōu)化等多方面；計劃的改進與擴展包括Compact優(yōu)化、Failover優(yōu)化、Master重構、多租戶等方面。

中國移動通信研究院技術經(jīng)理徐萌：中國移動大數(shù)據(jù)應用實踐

PPT下載——2013年第七屆BDTC

她表示中移動移動互聯(lián)網(wǎng)用戶流量激增，手機數(shù)據(jù)化、寬帶化趨勢明顯，亟需深挖大數(shù)據(jù)的價值。這與中國智能交通協(xié)會理事長吳忠澤在會上的觀點不謀而合。中國移動網(wǎng)絡規(guī)模和擁有用戶數(shù)全球第一。在用戶流量激增時，手機數(shù)據(jù)化、寬帶化趨勢很明顯。而在這樣的發(fā)展趨勢下，大數(shù)據(jù)處理核心基礎轉變很明顯。在傳統(tǒng)數(shù)據(jù)分析處理時代，所用的硬件和軟件都不再適應。所以大數(shù)據(jù)處理的時代，要尤其關注MPP DW+Hadoop的應用。在實踐中，中國移動也發(fā)現(xiàn)關于使用Hadoop的一些問題：版本不一，缺乏規(guī)劃；調優(yōu)復雜，門檻較高；自有人員不足，控制力弱。為此，中國移動將基于開源Hadoop軟件的大云大數(shù)據(jù)平臺BC-Hadoop開源，嘗試開源模式！

中科院計算所副研究員查禮：大數(shù)據(jù)技術如何用于傳統(tǒng)信息系統(tǒng)

PPT下載——2013年第七屆BDTC

通信、網(wǎng)絡、存儲、傳感器等電子信息技術的飛速發(fā)展導致了數(shù)據(jù)規(guī)模的極大增加，傳統(tǒng)的存儲并處理這些數(shù)據(jù)的技術手段遇到了瓶頸，同時，數(shù)據(jù)爆炸對數(shù)據(jù)存儲與處理效能提出了挑戰(zhàn)。高速發(fā)展的數(shù)據(jù)型互聯(lián)網(wǎng)企業(yè)需要連續(xù)的系統(tǒng)擴展能力，這需要解決數(shù)據(jù)快速增長與數(shù)據(jù)中心擴容周期緩慢的矛盾；如何維持低成本曲線和高性能曲線是現(xiàn)實問題，這是數(shù)據(jù)業(yè)務深度的不斷加強和數(shù)據(jù)處理性能現(xiàn)狀的矛盾。數(shù)據(jù)計算技術呈現(xiàn)規(guī)模大、計算快和檢索準的發(fā)展態(tài)勢，Hadoop這樣的大數(shù)據(jù)技術源于互聯(lián)網(wǎng)應用，需求和游戲規(guī)則的不同導致必須經(jīng)過改造才能適用于傳統(tǒng)信息系統(tǒng)應用。

Teredata天睿公司大中華區(qū)Aster事業(yè)部總監(jiān)孔宇華：駕馭大數(shù)據(jù)——如何實現(xiàn)大數(shù)據(jù)的應用性

PPT下載——2012年第六屆BDTC

孔宇華主要講述了如何來讓大數(shù)據(jù)更加地平民化、更加大眾化。他表示，大數(shù)據(jù)是天時地利人和，讓它發(fā)揮價值也是需要天時地利人和的。不僅在技術方面、在人員方面、流程方面都需要注意。在大數(shù)據(jù)方面，從應用看企業(yè)需求，從易用看維護，從速度看如何實現(xiàn)數(shù)據(jù)精華。企業(yè)在開發(fā)新的大數(shù)據(jù)平臺、大數(shù)據(jù)產(chǎn)品的時候要考慮到易用，要考慮到你的用戶和后端的人員是哪些人，他們是用SQL的還是做代碼的。你是要用大數(shù)據(jù)來解決什么樣的問題以及哪方面的問題，之后再從這個應用的需求方面再推斷大數(shù)據(jù)平臺和技術上的需求。

人云科技創(chuàng)始人兼總經(jīng)理吳朱華：中小企業(yè)Big Data解決之道

PPT下載——2012年第六屆BDTC

吳朱華表示海量數(shù)據(jù)呈現(xiàn)“4V + 1C”的特點。即Variety：一般包括結構化、半結構化和非結構化等多類數(shù)據(jù)，而且它們處理和分析方式有區(qū)別；Volume：通過各種設備產(chǎn)生了大量的數(shù)據(jù)，PB級別是常態(tài)；Velocity：要求快速處理，存在時效性；Vitality：分析和處理模型必須快速變化，因為需求在變；Complexity：處理和分析的難度非常大。他認為中小企業(yè)面對大數(shù)據(jù)的解決之道應遵循采集、導入/處理、查詢、挖掘的流程。另外，他還介紹了自家的YunTable。這是在傳統(tǒng)的分布式數(shù)據(jù)庫和新的NoSQL技術的基礎上發(fā)展而來的新一代分布式數(shù)據(jù)庫。通過它能構建一個百臺級別的分布式集群來管理PB級別的海量數(shù)據(jù)。

凱備份技術總監(jiān)兼高級架構師盧億雷：Hadoop在網(wǎng)盤和在線備份的應用與挑戰(zhàn)

PPT下載——2012年第六屆BDTC

凱備份（Carbonite China）技術總監(jiān)兼高級架構師盧億雷闡述了HDFS和HBase在網(wǎng)盤和在線備份的應用、大數(shù)據(jù)的挖掘與處理、小文件的存儲、備份文件至云端、文件全路徑存放方式以及Namespace的管理等方面的問題。他還談到MongoDB的經(jīng)驗分享：盡量創(chuàng)建索引；限定返回結果條數(shù)；Filter只返回需要的數(shù)據(jù)；優(yōu)化主鍵，盡量自己控制主健ID；UUID主鍵使用BinaryData數(shù)據(jù)類型存儲；注意文件大小不超過16M。最后，他補充道，用什么技術不是關鍵，關鍵是怎么用：明確需求，找準關注點；選擇方法，要成熟技術，均衡復雜度；高效運營。

精誠資訊云中心Big Data事業(yè)部首席顧問陳昭宇：企業(yè)應用Hadoop的最佳模式

PPT下載——2012年第六屆BDTC

企業(yè)使用大數(shù)據(jù)面臨著存儲、計算、管理和分析等方面的挑戰(zhàn)，Hadoop作為大數(shù)據(jù)處理的最佳工具，企業(yè)在應用時仍然面臨著部署、應用和運維等眾多方面的挑戰(zhàn)，陳昭宇用具體實例介紹了使用Etu Appliance的優(yōu)勢，這也是企業(yè)搭建Hadoop平臺的最佳模式。相比自建Hadoop集群，采用Etu一體機，技術門檻低、人才招聘容易、上線時間迅速預計系統(tǒng)性能良好。同時，它還具有快速部署、性能優(yōu)化、水平擴展、容錯機制、安全簡便等特性，特別適合海量數(shù)據(jù)處理。