
中國大數(shù)據(jù)要發(fā)展必備三個條件
大數(shù)據(jù)的經(jīng)濟價值已經(jīng)被人們認可,大數(shù)據(jù)的技術也已經(jīng)逐漸成熟,一旦完成數(shù)據(jù)的整合和監(jiān)管,大數(shù)據(jù)爆發(fā)的時代即將到來。我們現(xiàn)在要做的,就是選好自己的方向,為迎接大數(shù)據(jù)的到來,提前做好準備。大數(shù)據(jù)概念的橫空出世,有賴于短短幾年出現(xiàn)的海量數(shù)據(jù)。據(jù)統(tǒng)計,互聯(lián)網(wǎng)上的數(shù)據(jù)每兩年翻一番,而目前世界上90%以上的數(shù)據(jù)都是最近幾年才產(chǎn)生的。當然,海量數(shù)據(jù)僅僅是“大數(shù)據(jù)”概念的一部分,只有具備4個“V”的特征,大數(shù)據(jù)的定義才算完整,而價值恰恰是決定大數(shù)據(jù)未來走向的關鍵。
大數(shù)據(jù)的發(fā)展需要三個必要條件:數(shù)據(jù)源、數(shù)據(jù)交易、數(shù)據(jù)產(chǎn)生價值的過程。近年來,社交網(wǎng)絡的興起、物聯(lián)網(wǎng)的發(fā)展和移動互聯(lián)網(wǎng)的普及,誕生了大量有價值的數(shù)據(jù)源,奠定了大數(shù)據(jù)發(fā)展的基礎。大數(shù)據(jù)時代到來的重要標志,則是大批專業(yè)級“數(shù)據(jù)買賣商”的出現(xiàn),以及圍繞數(shù)據(jù)交易形成的,貫穿于收集、整理、分析、應用整個流程的產(chǎn)業(yè)鏈條。大數(shù)據(jù)發(fā)展的核心,則是使用戶從海量的非結(jié)構化數(shù)據(jù)和半結(jié)構化數(shù)據(jù)中獲得了新的價值,數(shù)據(jù)價值是帶動數(shù)據(jù)交易的原動力。
IBM、甲骨文、SAP近年紛紛斥巨資收購數(shù)據(jù)管理和分析公司,在這些互聯(lián)網(wǎng)巨頭的帶動下,數(shù)據(jù)分析技術日漸成熟。2013年6月,愛德華·斯諾登將“棱鏡計劃”公之于眾,“棱鏡門”事件一方面說明大數(shù)據(jù)技術已經(jīng)成熟;另一方面也佐證了現(xiàn)在阻礙大數(shù)據(jù)發(fā)展的不是技術,而是數(shù)據(jù)交易和數(shù)據(jù)價值。
大數(shù)據(jù)技術的發(fā)展促進了云計算的落地,云計算的部署完成又反過來加大了市場對數(shù)據(jù)創(chuàng)造價值的期待。大數(shù)據(jù)概念提出之后,市場終于看到了云計算的獲利方向:各地的一級系統(tǒng)集成商與當?shù)卣献鳎ㄔ茢?shù)據(jù)中心;各大行業(yè)巨頭在搭建各自行業(yè)的云平臺;IT巨頭想盡辦法申請中國的公有云牌照。大數(shù)據(jù)促成了云計算從概念到落地。借助于智慧城市概念的普及,云計算基礎設施已基本準備就緒,一方面完成了大數(shù)據(jù)應用的硬件基礎;另一方面迫于回收云計算投資的壓力,市場急需應用部署,大數(shù)據(jù)恰如雪中送炭,被市場寄予厚望。
現(xiàn)在,問題的核心指向了“數(shù)據(jù)如何創(chuàng)造價值?”
大數(shù)據(jù)服務創(chuàng)業(yè)公司Connotate對800多名商業(yè)和IT主管進行了調(diào)查。結(jié)果顯示,60%受調(diào)查者稱:“目前就說這些大數(shù)據(jù)投資項目肯定能夠帶來良好回報尚為時過早?!敝匀绱?,是由于當前大數(shù)據(jù)缺乏必需的開放性:數(shù)據(jù)掌握在不同的部門和企業(yè)手中,而這些部門和企業(yè)并不愿意分享數(shù)據(jù)。大數(shù)據(jù)是通過研究數(shù)據(jù)的相關性來發(fā)現(xiàn)客觀規(guī)律,這依賴于數(shù)據(jù)的真實性和廣泛性,數(shù)據(jù)如何做到共享和開放,這是當前大數(shù)據(jù)發(fā)展的軟肋和需要解決的大問題。
2012年美國大選,奧巴馬因數(shù)據(jù)整合而受益。在奧巴馬的競選團隊中有一個神秘的數(shù)據(jù)挖掘團隊,他們通過對海量數(shù)據(jù)進行挖掘幫助奧巴馬籌集到10億美元資金;他們通過數(shù)據(jù)挖掘使競選廣告投放效率提升了14%;他們通過制作“搖擺州”選民的詳細模型,每晚實施6.6萬次模擬選舉,推算奧巴馬在“搖擺州”的勝率,并以此來指導資源分配。奧巴馬競選團隊相比羅姆尼競選團隊最有優(yōu)勢的地方:對大數(shù)據(jù)的整合。奧巴馬的數(shù)據(jù)挖掘團隊也意識到這個全世界共同的問題:數(shù)據(jù)分散在過多的數(shù)據(jù)庫中。因此,在前18個月,奧巴馬競選團隊就創(chuàng)建了一個單一的龐大數(shù)據(jù)系統(tǒng),可以將來自民意調(diào)查者、捐資者、現(xiàn)場工作人員、消費者數(shù)據(jù)庫、社交媒體,以及“搖擺州”主要的民主黨投票人的信息整合在一起,不僅能告訴競選團隊如何發(fā)現(xiàn)選民并獲得他們的注意,還幫助數(shù)據(jù)處理團隊預測哪些類型的人有可能被某種特定的事情所說服。正如競選總指揮吉姆·梅西納所說,在整個競選活中,沒有數(shù)據(jù)做支撐的假設很少存在。
2012年3月,美國奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”,將“大數(shù)據(jù)研究”上升為國家意志。一個國家擁有數(shù)據(jù)的規(guī)模和運用數(shù)據(jù)的能力將成為綜合國力的重要組成部分。國內(nèi)智慧城市建設目標之一就是實現(xiàn)數(shù)據(jù)的集中共享。
隨著云計算、大數(shù)據(jù)技術和相關商業(yè)環(huán)境的不斷成熟,越來越多的“軟件開發(fā)者”正在利用跨行業(yè)的大數(shù)據(jù)平臺,打造創(chuàng)新價值的大數(shù)據(jù)應用,而且這一門檻正在不斷降低。因為首先,數(shù)據(jù)擁有者能夠以微乎其微的成本獲取額外的收入,提高利潤水平;其次,大數(shù)據(jù)設備廠商需要應用來吸引消費者購買設備,發(fā)展合作共贏的伙伴關系勢必比單純銷售設備要有利可圖,一些具有遠見的廠商已經(jīng)開始通過提供資金、技術支持、入股等方式來扶持這些“軟件開發(fā)者”;第三,行業(yè)細分市場的數(shù)據(jù)分析應用需求在不斷加大,對于整個大數(shù)據(jù)產(chǎn)業(yè)鏈來說,創(chuàng)新型的行業(yè)數(shù)據(jù)應用開發(fā)者必將是未來整個大數(shù)據(jù)產(chǎn)業(yè)鏈中最為活躍的部分。
未來,有三種企業(yè)將在”大數(shù)據(jù)產(chǎn)業(yè)鏈“中處于重要地位:掌握海量有效數(shù)據(jù)的企業(yè),有著強大數(shù)據(jù)分析能力的企業(yè),以及創(chuàng)新的“軟件開發(fā)者”。社交網(wǎng)絡、移動互聯(lián)網(wǎng)、信息化企業(yè)、電信運營商都是海量數(shù)據(jù)的制造者,F(xiàn)acebook公司手中掌握著8.5億用戶,淘寶注冊用戶超過3.7億,騰訊的微信用戶突破3億,這些龐大用戶群所提供的數(shù)據(jù),正在等待時機釋放出巨大商業(yè)能量??梢灶A測,在不久的將來,F(xiàn)acebook、騰訊、電信運營商等海量數(shù)據(jù)持有者或者自我延伸成為數(shù)據(jù)分析提供商,或者與IBM、ZTE等企業(yè)密切對接成為上下游合作企業(yè),大數(shù)據(jù)產(chǎn)業(yè)鏈將在某個爆發(fā)時點到來之際,以令人驚訝的速度成長壯大。
大數(shù)據(jù)時代,傳統(tǒng)的隨機抽樣被“所有數(shù)據(jù)的匯攏”所取代,人們的思維決斷模式,已可直接根據(jù)“是什么”來下結(jié)論,由于這樣的結(jié)論剔除了個人情緒、心理動機、抽樣精確性等因素的干擾,因此將更精確、更有預見性。不過,由于大數(shù)據(jù)過于依靠數(shù)據(jù)的匯集,一旦數(shù)據(jù)本身有問題,就很可能出現(xiàn)“災難性大數(shù)據(jù)”,即因為數(shù)據(jù)本身的問題,而導致錯誤的預測和決策。
大數(shù)據(jù)的理論是“在稻草堆里找一根針”,而如果“所有稻草看上去都挺像那根針”呢?過多但無法辨析真?zhèn)魏蛢r值的信息和過少的信息一樣,對于需要作出瞬間判斷、一旦判斷出錯就很可能造成嚴重后果的情況而言,同樣是一種危害?!按髷?shù)據(jù)”理論是建立在“海量數(shù)據(jù)都是事實”的基礎上,而如果數(shù)據(jù)提供者造假呢?這在大數(shù)據(jù)時代變得更有害,因為人們無法控制數(shù)據(jù)提供者和搜集者本人的偏見。擁有最完善數(shù)據(jù)庫、最先接受“大數(shù)據(jù)”理念的華爾街投行和歐美大評級機構,卻每每在重大問題上判斷出錯,這本身就揭示了“大數(shù)據(jù)”的局限性。
不僅如此,大數(shù)據(jù)時代造就了一個數(shù)據(jù)庫無所不在的世界,數(shù)據(jù)監(jiān)管部門面臨前所未有的壓力和責任:如何避免數(shù)據(jù)泄露對國家利益、公眾利益、個人隱私造成傷害?如何避免信息不對等,對困難群體的利益構成傷害?在有效控制風險之前,也許還是讓“大數(shù)據(jù)”繼續(xù)待在籠子里更好一些。
大數(shù)據(jù)的經(jīng)濟價值已經(jīng)被人們認可,大數(shù)據(jù)的技術也已經(jīng)逐漸成熟,一旦完成數(shù)據(jù)的整合和監(jiān)管,大數(shù)據(jù)爆發(fā)的時代即將到來。我們現(xiàn)在要做的,就是選好自己的方向,為迎接大數(shù)據(jù)的到來,提前做好準備。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構數(shù)據(jù)價值的核心操盤手 表格結(jié)構數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11