大數(shù)據(jù)大規(guī)律

大數(shù)據(jù)正在改變我們的生活，影響我們思考和解決問題的方式，為了適應(yīng)時代的潮流，組織必須學(xué)會用數(shù)據(jù)說話，如果坐擁大量的數(shù)據(jù)卻束手無策或無動于衷，那和沒有數(shù)據(jù)是一樣的。但是，在進(jìn)行數(shù)據(jù)分析時，完全的自我創(chuàng)造是不可取的，因為有大量可以遵循和借鑒的經(jīng)驗?zāi)芄?jié)約大量的時間和成本。最近， OrionX.net 的聯(lián)合創(chuàng)始人Shahin Khan 就發(fā)表了一篇文章，介紹了他的 團(tuán)隊從大數(shù)據(jù)、物聯(lián)網(wǎng)和云計算市場上總結(jié)的經(jīng)驗和規(guī)律 。

保留數(shù)據(jù)的成本要比刪除數(shù)據(jù)的成本低。另外，還要有多個備份。正因為保留了足夠多的數(shù)據(jù)，大數(shù)據(jù)才成為可能，因此無論如何都不要刪除數(shù)據(jù)，因為你不知道什么時候會用到它，刪除這些數(shù)據(jù)會有哪些法律風(fēng)險。保留數(shù)據(jù)的成本很低，另外，如果將來發(fā)生了什么事情，你也能從這些數(shù)據(jù)中找到證據(jù)。

無論開始收集數(shù)據(jù)的動機是什么，它們都會導(dǎo)致你收集更多的數(shù)據(jù)。大部分?jǐn)?shù)據(jù)收集工作關(guān)注于正在進(jìn)行的活動，但一旦知道了如何使用這些數(shù)據(jù)，獲取更多數(shù)據(jù)的意愿就會增加。

大數(shù)據(jù)系統(tǒng)開始較小，但慢慢會變大，沒有中間大小。很少有中等規(guī)模的大數(shù)據(jù)系統(tǒng)，一旦某個項目的理念被證明是有前景的，那么它很快就會變大，并在迅速發(fā)展的同時孵化新項目。

數(shù)據(jù)必須流向有價值的地方，要考慮功能的上下文有什么價值。未使用的數(shù)據(jù)是一種閑置的資產(chǎn)，很有可能會造成價值的貶值。如果將大數(shù)據(jù)看做是工作流，那么必須將數(shù)據(jù)流向最有價值的地方。

永遠(yuǎn)都不要假設(shè)你知道原因是什么，有什么影響。大數(shù)據(jù)的大部分應(yīng)用場景都是有價值的，值得付出努力，但是它的因果關(guān)系非常復(fù)雜，數(shù)據(jù)的不完整、用戶的偏見不可避免。

有關(guān)數(shù)據(jù)與無關(guān)數(shù)據(jù)之間的比率將逐漸趨向于零。數(shù)據(jù)有很多，但通常情況下大部分都是無用的，只有一少部分有價值。收集的數(shù)據(jù)越多，這種現(xiàn)象越明顯，也就是說無關(guān)數(shù)據(jù)的增長速度要遠(yuǎn)高于相關(guān)數(shù)據(jù)的增長速度。

分析的最終目的是合成。分析完成之后便需要合成，當(dāng)然這需要引入機器學(xué)習(xí)和認(rèn)知算法。

時間=金錢=數(shù)據(jù)。數(shù)據(jù)是一種資產(chǎn)，雖然它可以升值，但大多數(shù)時候隨著新數(shù)據(jù)替代老數(shù)據(jù)，歷史數(shù)據(jù)的價值會越來越低，因為它的相關(guān)性會越來越差。所以必須知道數(shù)據(jù)的“利率”，知道它貶值的速度有多快。

容量大—速度快—種類多—價值密度低 vs. 不可再現(xiàn)—不相關(guān)—不完整—不正確。數(shù)據(jù)的質(zhì)量直接影響數(shù)據(jù)挖掘的質(zhì)量。

給你足夠的數(shù)據(jù)，你就能證明事物的“正反兩面”。數(shù)據(jù)量越大，從中找到有價值信息的難度就越大，數(shù)據(jù)的復(fù)雜性、不合理的動機和無知都可能會造成無效的結(jié)論;但另一方面，數(shù)據(jù)越多，支持假設(shè)的證據(jù)就會越充分，通過完全科學(xué)的方法，有時這種支持率甚至?xí)饾u接近100%。

大數(shù)據(jù)的結(jié)論開始通常是有趣但無用的，但最終會變成有效且有用的。在新媒體時代，有趣但膚淺的內(nèi)容要比深刻有見地的內(nèi)容多得多，價值挖掘需要對數(shù)據(jù)有深刻的理解，但這需要時間。

隨著數(shù)據(jù)量的增長，大數(shù)據(jù)和 高性能計算(HPC) 需要結(jié)合在一起。

如果有200行數(shù)據(jù)，可以使用電子表格;但如果有20億行數(shù)據(jù)，就必須使用HPC。此外，隨著數(shù)據(jù)量的增長，還需要數(shù)學(xué)和科學(xué)的知識將數(shù)據(jù)轉(zhuǎn)換成模型。