物聯(lián)網(wǎng)時(shí)代應(yīng)該采用什么樣大數(shù)據(jù)策略_數(shù)據(jù)分析師

互聯(lián)網(wǎng)時(shí)代，PC、Pad、智能手機(jī)等設(shè)備無(wú)處不在，數(shù)以億計(jì)的用戶通過(guò)微博、微信、SNS、博客等途徑產(chǎn)生大量的自媒體數(shù)據(jù)，電商、新聞?lì)惥W(wǎng)站、搜索引擎每時(shí)每刻都在記錄著豐富的用戶行為信息，海量的數(shù)據(jù)促進(jìn)了云計(jì)算，分布式技術(shù)的發(fā)展，而這些技術(shù)反過(guò)來(lái)不僅推動(dòng)了Web和移動(dòng)互聯(lián)網(wǎng)的革新，也推動(dòng)了物聯(lián)網(wǎng)的飛速前進(jìn)?，F(xiàn)在，我們正逐漸邁入物聯(lián)網(wǎng)時(shí)代，實(shí)現(xiàn)萬(wàn)物互聯(lián)的愿景，如果說(shuō)之前人是信息生產(chǎn)的主體，那么或許不久的將來(lái)設(shè)備將成為主角，它們將源源不斷地產(chǎn)生與人相關(guān)的衣食住行信息，這些信息會(huì)通過(guò)云計(jì)算、數(shù)據(jù)挖掘等技術(shù)實(shí)現(xiàn)價(jià)值的升華從而為用戶提供更優(yōu)質(zhì)、貼心的服務(wù)。那么物聯(lián)網(wǎng)時(shí)代會(huì)產(chǎn)生什么樣的數(shù)據(jù)，應(yīng)該采用什么樣的大數(shù)據(jù)策略呢?

　　THINKstrategies 的總經(jīng)理 Jeff Kaplan 在自己的博文《 當(dāng)物聯(lián)網(wǎng)遇見大數(shù)據(jù) 》中寫道：

　　“你不能使用現(xiàn)在的策略，因?yàn)榭梢员徊东@、管理并利用的數(shù)據(jù)將更加多樣化，同時(shí)用例也會(huì)更加豐富。附加到各種設(shè)備和對(duì)象上的傳感器會(huì)產(chǎn)生各種類型的數(shù)據(jù)。這些數(shù)據(jù)將會(huì)用于各種響應(yīng)式的、主動(dòng)的或者 創(chuàng)造性的目的 。IT部門的任務(wù)就是與業(yè)務(wù)部門一起工作，完全理解物聯(lián)網(wǎng)方面的用例，然后尋找滿足業(yè)務(wù)需求的技術(shù)。特別是，IT部門必須識(shí)別出最優(yōu)的分析平臺(tái)和工具，讓業(yè)務(wù)用戶能夠獲取到需要的數(shù)據(jù)，分析數(shù)據(jù)的含義并快速地做出響應(yīng)?！?/span>

　　Gartner公司的副總裁、著名分析師 Joe Skorupa 認(rèn)為：

　　“分布在世界各地的物聯(lián)網(wǎng)設(shè)備將產(chǎn)生大量的輸入數(shù)據(jù)，將所有的數(shù)據(jù)傳送到一個(gè)位置進(jìn)行處理無(wú)論從技術(shù)上還是從經(jīng)濟(jì)上都是無(wú)法實(shí)現(xiàn)的。最近的趨勢(shì) ——將應(yīng)用程序集中起來(lái)以便于降低成本并增強(qiáng)安全性——并不適合物聯(lián)網(wǎng)。組織必須將數(shù)據(jù)集中到多個(gè)分布式的小型數(shù)據(jù)中心中，在此對(duì)數(shù)據(jù)進(jìn)行初步的處理并發(fā)送到一個(gè)中心站點(diǎn)進(jìn)行額外的處理。數(shù)據(jù)中心管理員需要在這些區(qū)域部署更加具有前瞻性的容量以滿足業(yè)務(wù)發(fā)展的需要?！?/span>

　　Patrick McFadin則在自己的博文《 物聯(lián)網(wǎng)：數(shù)據(jù)都去了哪里? 》中闡述了一個(gè)具體的數(shù)據(jù)策略解決方案。他認(rèn)為整個(gè)過(guò)程可以分為三個(gè)階段：產(chǎn)生數(shù)據(jù)并通過(guò)Internet傳遞、中央系統(tǒng)收集并組織數(shù)據(jù)、持續(xù)的數(shù)據(jù)分析與使用。

　　第一階段需要決定數(shù)據(jù)創(chuàng)建的標(biāo)準(zhǔn)以及如何通過(guò)網(wǎng)絡(luò)進(jìn)行傳遞。Patrick McFadin認(rèn)為可以通過(guò)HTTP、MQTT和CoAP三種常用的標(biāo)準(zhǔn)協(xié)議傳遞數(shù)據(jù)。HTTP通用程度高，但是它的頭中包含大量冗余信息，不太適合帶寬比較低的場(chǎng)景。MQTT基于發(fā)布/訂閱模型，新的設(shè)備或者服務(wù)能夠非常容易地連到中央系統(tǒng)上消費(fèi)消息。另外，它在消息大小上比HTTP更輕量，但是缺點(diǎn)是不包含加密標(biāo)準(zhǔn)。CoAP適合于低功耗、低帶寬的場(chǎng)景，與MQTT的訂閱模式相比它更側(cè)重于一對(duì)一的連接。

　　第二階段則需要根據(jù)設(shè)備、網(wǎng)絡(luò)以及功耗的限制決定是實(shí)時(shí)地收集數(shù)據(jù)還是在某個(gè)時(shí)間批量收集，同時(shí)還需要決定如何存儲(chǔ)數(shù)據(jù)。如果是實(shí)時(shí)收集，那么必須要考慮數(shù)據(jù)庫(kù)的寫入速度，這對(duì)于傳統(tǒng)的數(shù)據(jù)庫(kù)而言可能是一個(gè)挑戰(zhàn)，但是像 Cassandra 這樣的NoSQL數(shù)據(jù)庫(kù)卻能夠輕松應(yīng)對(duì)。

　　一旦完成了數(shù)據(jù)的收集與存儲(chǔ)，接下來(lái)就是分析了，這才是整個(gè)過(guò)程最核心的部分。此時(shí)需要考慮需要何時(shí)使用分析結(jié)果，是否需要立即或近乎實(shí)時(shí)的分析，還是僅僅需要對(duì)歷史數(shù)據(jù)進(jìn)行處理。越來(lái)越多的人在使用Apache Spark分析大數(shù)據(jù)，使用Spark Streaming滿足近乎實(shí)時(shí)的要求，如果將這些技術(shù)與Cassandra這樣的NoSQL數(shù)據(jù)庫(kù)結(jié)合在一起使用，那么開發(fā)者就能夠處理并分析大規(guī)模、快速移動(dòng)的數(shù)據(jù)集。

　　那么是不是所有的物聯(lián)網(wǎng)廠商都需要自己去構(gòu)建相關(guān)的數(shù)據(jù)解決方案呢?也不盡然，在云計(jì)算的時(shí)代大可以利用云服務(wù)提供商的資源，以降低相關(guān)的成本，對(duì)小公司或初創(chuàng)公司更是如此。

　　Mike Kavis最近在自己的博文《 物聯(lián)網(wǎng)將徹底改變你的大數(shù)據(jù)策略 》中闡述了自己的方案，他認(rèn)為：

　　“在物聯(lián)網(wǎng)時(shí)代，面對(duì)PB級(jí)的數(shù)據(jù)，企業(yè)將難以以一己之力完成基礎(chǔ)設(shè)施的建設(shè)。物聯(lián)網(wǎng)所產(chǎn)生的大量數(shù)據(jù)不僅會(huì)驅(qū)動(dòng)現(xiàn)在的數(shù)據(jù)中心發(fā)生根本性的變化，同時(shí)也會(huì)驅(qū)動(dòng)相關(guān)企業(yè)采用新的大數(shù)據(jù)策略。由于缺乏相關(guān)技能以及持續(xù)增長(zhǎng)的數(shù)據(jù)對(duì)基礎(chǔ)設(shè)施采購(gòu)的需求，企業(yè)將逐步放棄DIY模式，轉(zhuǎn)而使用PaaS和托管的解決方案，借助于數(shù)據(jù)庫(kù)即服務(wù)(例如Amazon的Redshift、Hortonworks和Cloudera的企業(yè)級(jí)Hadoop)、托管的大數(shù)據(jù)服務(wù)(例如Treasure Data)以及矩陣式的數(shù)據(jù)中心服務(wù)(例如GoGrid)實(shí)現(xiàn)自己的物聯(lián)網(wǎng)數(shù)據(jù)分析方案。

　　總之，物聯(lián)網(wǎng)的價(jià)值在于數(shù)據(jù)。企業(yè)對(duì)數(shù)據(jù)的分析工作啟動(dòng)地越快，挖掘出的業(yè)務(wù)價(jià)值就越多。而云服務(wù)提供商的目的就是通過(guò)加大相關(guān)的投入，消除數(shù)據(jù)收集、管理的風(fēng)險(xiǎn)以及復(fù)雜性，讓客戶能夠?qū)Ｗ⒂诜治??！北疚膩?lái)源：CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)