
大數(shù)據(jù)還有不少潛能
近兩年來,大數(shù)據(jù)被公眾廣泛討論,甚至成為不少商家宣傳營銷的賣點。毋庸置疑,智能設(shè)備的發(fā)展和普及,使海量的數(shù)據(jù)采集成為可能。但大數(shù)據(jù)并不是單純的“數(shù)據(jù)大”,它更蘊含著一種計算和思維方式的轉(zhuǎn)變,想要發(fā)揮出大數(shù)據(jù)的洞察力,還面臨著采集、管理、分析數(shù)據(jù)的挑戰(zhàn)。這些障礙如何破除?大數(shù)據(jù)在未來將如何應(yīng)用,能否創(chuàng)造出更大的價值?這些問題值得我們在大數(shù)據(jù)熱中,做出冷靜判斷。
4月26日,清華大學(xué)成立“清華—青島數(shù)據(jù)科學(xué)研究院”,同時召開大數(shù)據(jù)時代高端論壇。就在此前兩天,百度在第四屆技術(shù)開放日上,正式宣布對外開放大數(shù)據(jù)引擎,提供大數(shù)據(jù)存儲、分析及挖掘的技術(shù)能力。大數(shù)據(jù)被學(xué)界納入研究范疇,商家開放引擎,這是否意味著大數(shù)據(jù)應(yīng)用進(jìn)入了一個新階段?
傳統(tǒng)統(tǒng)計方法追求精確,大數(shù)據(jù)只預(yù)測宏觀趨勢
本是技術(shù)概念的大數(shù)據(jù),如今越來越像一種營銷手段。從汽車、化妝品到體育,在營銷人員口中,似乎所有行業(yè)都可以借助大數(shù)據(jù),精確定位、找到消費者,預(yù)測趨勢、贏得未來。
中國人民大學(xué)新聞學(xué)院教授喻國明認(rèn)為,目前從國內(nèi)的情況看,真正運用大數(shù)據(jù)分析成功的案例其實不多,很多公司都是將大數(shù)據(jù)作為一個營銷噱頭,所做的分析也主要是基于傳統(tǒng)的數(shù)據(jù)分析方法。
事實上,對于數(shù)據(jù)多大能稱之為“大數(shù)據(jù)”,業(yè)界并沒有統(tǒng)一的認(rèn)識,通常認(rèn)為100TB(太字節(jié))是大數(shù)據(jù)的門檻。簡而言之,傳統(tǒng)方法無法處理的數(shù)據(jù)即為大數(shù)據(jù)。
大數(shù)據(jù)的產(chǎn)生得益于移動互聯(lián)網(wǎng)以及智能手機、各種智能穿戴產(chǎn)品的發(fā)展,人們行為、位置,甚至身體的生理特征等數(shù)據(jù)都可以便捷地被記錄,這使海量數(shù)據(jù)采集成為可能。事實上,目前數(shù)據(jù)采集量正呈現(xiàn)快速的增長趨勢。一家國際數(shù)據(jù)統(tǒng)計機構(gòu)最新預(yù)測指出,2020年,全世界產(chǎn)生的數(shù)據(jù)量有望達(dá)到40ZB(澤字節(jié),1澤字節(jié)等于10億太字節(jié))。
但大數(shù)據(jù)不能單純理解為數(shù)據(jù)大。大數(shù)據(jù)研究專家、北京航空航天大學(xué)校長懷進(jìn)鵬表示,大數(shù)據(jù)具有“規(guī)模大、變化快、種類雜、價值密度低”四個特征,是對傳統(tǒng)計算和思維方式的一種挑戰(zhàn)。
首先,因為幾乎每個數(shù)據(jù)點都可以采集,全面數(shù)據(jù)代替了抽樣、片面、局部的數(shù)據(jù)。“拿炒菜打比方,傳統(tǒng)的抽樣,我們需要在開始和中間時候‘嘗一嘗’,‘嘗一嘗’就是抽樣數(shù)據(jù),但在大數(shù)據(jù)時代,隨機抽樣的方式可能就失效了?!睉堰M(jìn)鵬說。
懷進(jìn)鵬認(rèn)為,因為抽樣分析時數(shù)據(jù)測量能力有限,統(tǒng)計追求的是精確,希望用最少數(shù)據(jù)獲得最多的信息。而大數(shù)據(jù)比較雜亂,完整的精確不存在,也不再是追求的絕對目標(biāo),大數(shù)據(jù)只需對宏觀趨勢給出快速預(yù)測。
另一個改變是,從關(guān)注因果轉(zhuǎn)向數(shù)據(jù)之間關(guān)聯(lián)。在大數(shù)據(jù)時代,“數(shù)據(jù)背后的原因不再重要,人們只需要知道數(shù)據(jù)之間有統(tǒng)計相關(guān)性就行。僅需知其然,無需知其所以然?!睉堰M(jìn)鵬說。
在大數(shù)據(jù)的支持者看來,數(shù)據(jù)已經(jīng)能夠自己說話,傳統(tǒng)的科學(xué)統(tǒng)計模型已經(jīng)過時,理論也可能被終結(jié)。
大數(shù)據(jù)營銷大多是噱頭,一些機構(gòu)甚至無法收集海量數(shù)據(jù)
被譽為開大數(shù)據(jù)系統(tǒng)研究先河之作的《大數(shù)據(jù)時代》作者指出,大數(shù)據(jù)是社會的一種新型能力:以一種前所未有的方式,通過對海量數(shù)據(jù)進(jìn)行分析,獲得巨大價值的產(chǎn)品和服務(wù),或深刻的洞見。
大數(shù)據(jù)蘊含的發(fā)現(xiàn)事實、挖掘價值、預(yù)測未來的洞察力,也是各色大數(shù)據(jù)營銷的理論出發(fā)點。實際上,大數(shù)據(jù)洞察力確實在公共衛(wèi)生、交通運輸?shù)刃袠I(yè)開始發(fā)揮。
中國疾病預(yù)防控制中心副主任、中科院院士高福也認(rèn)同大數(shù)據(jù)在公共衛(wèi)生預(yù)防控制上的作用。他說,通過大數(shù)據(jù),可以在流感到來之前為人們提供一些解釋性信息,為流感的預(yù)防提供緩沖時間。
同樣,在智能交通時代,海量車輛信息沒法通過傳統(tǒng)方式分析,但借助大數(shù)據(jù),則可能提前預(yù)測未來的車流量、行進(jìn)路線等信息,從而為改善城市交通狀況提出優(yōu)化方案。
然而,“自己能夠講話的大數(shù)據(jù)”,是否真如營銷人員暢想得那么美好?
分析人士指出,數(shù)據(jù)存儲和搬運雖然越來越便利,但目前大數(shù)據(jù)應(yīng)用面臨著數(shù)據(jù)收集,管理、分析海量數(shù)據(jù)并創(chuàng)造價值的挑戰(zhàn)。
“如果將數(shù)據(jù)比作書,書增多后,首先要找到儲存大數(shù)據(jù)的‘大圖書館’,下一步則要解決數(shù)據(jù)查詢問題,沒有好的查詢引擎,書找不到,數(shù)據(jù)也就很難利用。”百度大數(shù)據(jù)總監(jiān)李鋼江說。而現(xiàn)實是,大部分機構(gòu)和企業(yè)都沒有海量數(shù)據(jù)收集存儲以及分析管理的能力。
業(yè)內(nèi)人士指出,大數(shù)據(jù)在一些領(lǐng)域的營銷還只是噱頭,先不論大數(shù)據(jù)分析結(jié)果是否有效,有些行業(yè)連基本的大數(shù)據(jù)采集和管理條件還不具備,更談不上精確定位和預(yù)測。
百度高級副總裁王勁也表示,傳統(tǒng)的數(shù)據(jù)庫沒有管理大數(shù)據(jù)的能力,傳統(tǒng)行業(yè)如何進(jìn)入大數(shù)據(jù)時代,利用大數(shù)據(jù)價值,是擺在很多行業(yè)面前的新課題。
提升計算能力和降低云存儲成本,將有利于大數(shù)據(jù)技術(shù)變革
百度首席執(zhí)行官李彥宏認(rèn)為,隨著計算能力的提升和云存儲等技術(shù)產(chǎn)品成本的不斷降低,大數(shù)據(jù)走到了技術(shù)變革的臨界點。不久前,百度就推出了“百度大數(shù)據(jù)引擎”,百度希望借助該工具,對大數(shù)據(jù)進(jìn)行收集、存儲、計算、挖掘和管理,并通過深度學(xué)習(xí)技術(shù)和數(shù)據(jù)建模技術(shù),使數(shù)據(jù)具有“智能”的技術(shù)能力,服務(wù)傳統(tǒng)行業(yè)。
據(jù)了解,百度大數(shù)據(jù)引擎包括開放云、數(shù)據(jù)工廠、百度大腦三大組件。其中,開放云解決的是數(shù)據(jù)存儲和計算問題;“數(shù)據(jù)工廠”則對行業(yè)數(shù)據(jù)進(jìn)行規(guī)范化處理,提供數(shù)據(jù)管理和分析;而“百度大腦”則讓機器和人腦一樣思考,分析處理數(shù)據(jù)。
不過,分析人士指出,雖然各方面為挖掘大數(shù)據(jù)開發(fā)了很多工具,但大數(shù)據(jù)的成熟應(yīng)用還有很長一段時間。首先,數(shù)據(jù)雜亂,價值密度低,如何有效的收集數(shù)據(jù)信息仍沒有成熟的方案。同時,數(shù)據(jù)的規(guī)模并不能決定一切,不論是那種數(shù)據(jù)分析方式,都可能存在統(tǒng)計上的缺陷,不能說數(shù)據(jù)更大、更新、更快就沒有問題。
英特爾中國研究院首席工程師吳甘沙表示,大數(shù)據(jù)作為一種新的數(shù)據(jù)形態(tài)和實踐,它將豐富數(shù)據(jù)應(yīng)用方法,卻不能取代傳統(tǒng)統(tǒng)計分析方法,更不能神化大數(shù)據(jù)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03