
為什么說大數(shù)據(jù)一定會(huì)從ABC里最先掉隊(duì)
人工智能(AI),大數(shù)據(jù)(big data)和云計(jì)算(cloud computing)三大技術(shù)被認(rèn)為是當(dāng)今互聯(lián)網(wǎng)爭(zhēng)奪的關(guān)鍵點(diǎn)。而三大技術(shù)中中爭(zhēng)議最多的在于大數(shù)據(jù)技術(shù),被夸大的效果和局限性的應(yīng)用,很可能會(huì)讓大數(shù)據(jù)成為ABC三大技術(shù)中最先掉隊(duì)的一個(gè)。
ABC的格局
2010年,工業(yè)和信息化部與國家發(fā)改委聯(lián)合發(fā)布《關(guān)于做好云計(jì)算服務(wù)創(chuàng)新發(fā)展試點(diǎn)示范工作的通知》,云計(jì)算元年開啟。
2013年,阿里巴巴副總裁徐子沛提出該年當(dāng)屬中國大數(shù)據(jù)元年,而這一觀點(diǎn)也得到了業(yè)界的普遍認(rèn)同。
人工智能元年?沒有人知道什么時(shí)候會(huì)到來,但是總有一天會(huì)爆發(fā)。
云計(jì)算技術(shù)從一點(diǎn)孤星閃爍,到如今萬家燈火通明的局面。云計(jì)算產(chǎn)業(yè)的拉動(dòng)已經(jīng)造就了多個(gè)大型互聯(lián)網(wǎng)企業(yè)的再次爆發(fā),強(qiáng)如軟件巨頭微軟也已經(jīng)在近幾年全力轉(zhuǎn)型云計(jì)算并且大獲成功,Azure也讓這家稱霸互聯(lián)網(wǎng)超20年的巨頭綻放了第二春。而即便是沒有入局云計(jì)算的企業(yè),也多為云計(jì)算技術(shù)的受益者。可以說云計(jì)算的力量在如今已經(jīng)達(dá)到了鼎盛,而且未來依然有發(fā)展的空間。
發(fā)展人工智能幾乎成為互聯(lián)網(wǎng)行業(yè)的口號(hào)
人工智能技術(shù)一直被認(rèn)為是離現(xiàn)實(shí)頗遠(yuǎn)的一種,但是2016年,谷歌用一盤棋把世人驚醒,原來悄然發(fā)展的AI智慧程度已經(jīng)達(dá)到了如此的境界。從監(jiān)督學(xué)習(xí)到自主學(xué)習(xí),人工智能的發(fā)展就像坐了火箭一樣不斷攀升,能夠涉足的領(lǐng)域也日益增多,而更可怕的還在于,人工智能現(xiàn)如今的狀態(tài)遠(yuǎn)談不上成熟,未來第一大技術(shù)送給人工智能相信不會(huì)有太多人質(zhì)疑。
相比之下,大數(shù)據(jù)就面臨了一個(gè)很尷尬的局面。起步雖說比云計(jì)算略遲,但好在發(fā)展夠迅猛,在去年大數(shù)據(jù)風(fēng)頭正勁,阿里云方面提出2016年是萬億大數(shù)據(jù)產(chǎn)業(yè)元年,各類大數(shù)據(jù)處理平臺(tái)、處理技術(shù)紛紛呈現(xiàn),大數(shù)據(jù)產(chǎn)業(yè)在各個(gè)行業(yè)應(yīng)用,乍看之下并不存在任何問題。
但大數(shù)據(jù)的發(fā)展雖然足夠強(qiáng)悍,卻遠(yuǎn)不能與AI和云計(jì)算相提并論。就像BAT三巨頭中,百度雖強(qiáng),可與阿里騰訊畢竟不是同一等級(jí)的體量。
大數(shù)據(jù)的歡樂soon
大數(shù)據(jù)產(chǎn)業(yè)的爆發(fā)速度可謂極快。從2013年進(jìn)入我國到現(xiàn)如今的萬億產(chǎn)業(yè),這一技術(shù)用短短的幾年迅速搶占熱點(diǎn)并且發(fā)展成為全行業(yè)所關(guān)注的焦點(diǎn),不可謂不成功。而大數(shù)據(jù)的成功有其必然性,也有時(shí)勢(shì)造英雄的運(yùn)氣。
大數(shù)據(jù):先有云算后有天
大數(shù)據(jù)的成功與云計(jì)算發(fā)展后計(jì)算力的提升有直接關(guān)系。大數(shù)據(jù)的第一特點(diǎn)就是大,大數(shù)據(jù)的大通常會(huì)被人誤解,于是小學(xué)生統(tǒng)計(jì)蘇軾詩詞短短幾十萬字都敢稱為“大數(shù)據(jù)”實(shí)在是貶低了這一技術(shù)。“大”的特點(diǎn)是要大到用常規(guī)手段無法統(tǒng)計(jì)的程度,而常規(guī)手段無法統(tǒng)計(jì)就需要借助云的力量,計(jì)算力的提升的大數(shù)據(jù)進(jìn)行的基礎(chǔ)保障。
幫助數(shù)據(jù)變廢為寶。大數(shù)據(jù)直接解決的一個(gè)問題就是企業(yè)的廢棄數(shù)據(jù)問題。在大數(shù)據(jù)技術(shù)出現(xiàn)前,數(shù)據(jù)的重要性就已經(jīng)引發(fā)了企業(yè)的重視,但問題在于,數(shù)據(jù)分揀和處理技術(shù)不足,企業(yè)空有數(shù)據(jù)卻不能轉(zhuǎn)化為生產(chǎn)力和收益點(diǎn),而數(shù)據(jù)存儲(chǔ)成本又高,只能遺棄。大數(shù)據(jù)成果解決了這一點(diǎn)難題,幫助企業(yè)把自己原有的金子擦去灰塵,綻放光彩。
順風(fēng)順?biāo)拇髷?shù)據(jù)遇到了好時(shí)機(jī)
大數(shù)據(jù)遇到了開放的市場(chǎng)。這一點(diǎn)或許普通用戶很難意識(shí)到,但相比之下,中國的市場(chǎng)是全球最有活力的市場(chǎng),也是最大度的市場(chǎng)。我國的市場(chǎng)復(fù)雜程度較高,因此往往能夠予以新生技術(shù)發(fā)展的土壤,大數(shù)據(jù)在我國的迅速開展也得到了政策和技術(shù)的多層面的保障。
政策支持提供通道,云計(jì)算幫助提供基礎(chǔ),市場(chǎng)需求提供養(yǎng)料,大數(shù)據(jù)迅速發(fā)展達(dá)到巔峰。但是,這并不代表大數(shù)據(jù)的問題可以就此掩蓋,相反,越是不被注意,大數(shù)據(jù)的隱患就越根深蒂固。
君有疾,不治恐深
扁鵲見蔡桓公的時(shí)候,一在腠理,二在肌膚,三在腸胃,都有法可醫(yī),但蔡桓公不聽,直到神仙難救,是有救而不自救。而大數(shù)據(jù)的問題顯然沒有那么深,但卻同屬于越拖越差的頑疾。
大數(shù)據(jù)的頑疾一:大數(shù)據(jù)價(jià)值被夸大,投入產(chǎn)出比遠(yuǎn)不能讓人滿意。這一點(diǎn)頑疾是典型的人禍,換句話說就是有小部分的大數(shù)據(jù)企業(yè)正在敗壞大數(shù)據(jù)的行業(yè)形象。大數(shù)據(jù)的應(yīng)用確實(shí)可以達(dá)到提升企業(yè)業(yè)務(wù)效率和決策效率的目標(biāo),但遠(yuǎn)沒有部分企業(yè)所吹噓的那么神。
不僅搖不到錢,還得砸錢
大數(shù)據(jù)并不是搖錢樹,絕不能秒用變現(xiàn)。相反,大數(shù)據(jù)是一個(gè)變現(xiàn)較慢的技術(shù),從大數(shù)據(jù)部署應(yīng)用到影響決策,從決策部署實(shí)施到產(chǎn)生效果,整個(gè)流程周期很長(zhǎng)而且變現(xiàn)效果未必就能盡如人意。高昂的投入,被吹的天花亂墜的預(yù)期,和平庸甚至讓人失望的結(jié)果,三者的夾擊下企業(yè)能對(duì)大數(shù)據(jù)還剩下多少好感呢?
大數(shù)據(jù)的頑疾二:對(duì)藥不對(duì)癥,低端難生存。大數(shù)據(jù)產(chǎn)業(yè)雖然現(xiàn)如今在進(jìn)行全面化、全產(chǎn)業(yè)的推廣,但不可忽視的一點(diǎn)就是,大數(shù)據(jù)對(duì)低端產(chǎn)業(yè)并不友好。這一點(diǎn)并不難理解,低端產(chǎn)業(yè)數(shù)據(jù)量本身并不大,分析需求低,分析結(jié)果對(duì)企業(yè)的指導(dǎo)意義也小,因此需求度本就低。
有錢自己搞,沒錢我不要
而高端產(chǎn)業(yè)中,真正有需求的企業(yè)往往可以自成一脈。比如像阿里、騰訊此類巨頭企業(yè),數(shù)據(jù)量過大,數(shù)據(jù)需求旺盛,因此不太可能選擇不同的大數(shù)據(jù)產(chǎn)品——一為數(shù)據(jù)安全,二為長(zhǎng)期打算。所以,此類企業(yè)自己研發(fā)大數(shù)據(jù)技術(shù)或產(chǎn)品會(huì)更合適,而這種各自為戰(zhàn)的局面就可能造成大數(shù)據(jù)行業(yè)最不愿看到的情況,孤島化產(chǎn)生。
采據(jù)東籬下,悠然見難關(guān)
大數(shù)據(jù)的頑疾三:數(shù)據(jù)采集難度被低估。這種問題是來自兩個(gè)層次的,第一層面是技術(shù)提供方的低估,許多大數(shù)據(jù)產(chǎn)業(yè)的技術(shù)提供方都會(huì)側(cè)重于大數(shù)據(jù)的處理、管理和分析等流程,而在數(shù)據(jù)采集方面只是進(jìn)行簡(jiǎn)單的埋點(diǎn)等代碼方式解決。這種方法在互聯(lián)網(wǎng)行業(yè)可以一用,但在大數(shù)據(jù)推廣到其他行業(yè)之后就會(huì)受到嚴(yán)重的限制。
數(shù)據(jù)采集:要錢還是要全
在非互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)采集時(shí),企業(yè)往往會(huì)選擇易采集的數(shù)據(jù),并非全面數(shù)據(jù),這就是第二層問題,采集成本的限制。要收集多角度全面化的數(shù)據(jù)就需要增加采集投入,而不增加就會(huì)造成數(shù)據(jù)分析準(zhǔn)確性降低,增加則可能讓效益成本比更低,兩難的境地讓大數(shù)據(jù)頗為尷尬。
大數(shù)據(jù)的頑疾四:隱私與安全成枷鎖。如果只是采集到數(shù)據(jù)就能一次性的使用,那么成本的投入也屬于可接受范圍。但問題在于,大數(shù)據(jù)的流動(dòng)性較強(qiáng),數(shù)據(jù)變化頻繁,普通的數(shù)據(jù)一般三個(gè)月就會(huì)面臨失效和滯后,而重新采集時(shí)則會(huì)面臨全新的局面。
盼我瘋魔,還盼我孑孓不獨(dú)活
同時(shí),大數(shù)據(jù)在頻繁和多次采集時(shí)隱私問題就成為無法避免的一環(huán)。強(qiáng)如谷歌搜素采集用戶數(shù)據(jù)也需要用戶同意才能進(jìn)行,但不同意的用戶怎么統(tǒng)計(jì)呢?這一大類用戶會(huì)不會(huì)成為導(dǎo)致“幸存者偏差”的一環(huán)呢?但如果強(qiáng)行獲取這部分用戶的數(shù)據(jù),這些數(shù)據(jù)的所有權(quán)是誰的呢?
而且,一旦涉及用戶隱私直接相關(guān)的就是安全問題。企業(yè)采集到用戶的數(shù)據(jù)建立大數(shù)據(jù)庫,大數(shù)據(jù)庫價(jià)值斐然是黑客攻擊的焦點(diǎn),而一旦數(shù)據(jù)失竊,到時(shí)候受傷最直接的卻并不是企業(yè)而是用戶,又有哪家企業(yè)能夠確保自家的數(shù)據(jù)庫絕對(duì)不會(huì)泄露數(shù)據(jù)呢?
大數(shù)據(jù)恐不再“大”
大數(shù)據(jù)的這些頑疾存在已經(jīng)有一定的時(shí)間了,但真正付諸解決,獲得成效的頗為少見。隨著大數(shù)據(jù)在不同行業(yè)的深入開展,大數(shù)據(jù)的問題還會(huì)持續(xù)揭露,屆時(shí)是否能夠提供能解決問題的方案將有可能關(guān)乎大數(shù)據(jù)的未來發(fā)展。
DT時(shí)代數(shù)據(jù)依然為先,但可能不大了
在DT時(shí)代,數(shù)據(jù)量依然在爆炸呈指數(shù)型增長(zhǎng),每個(gè)用戶、每個(gè)企業(yè)都能產(chǎn)生大量的數(shù)據(jù),而數(shù)據(jù)的處理手段也在不斷的“傻瓜”化,便捷化。每個(gè)人都能應(yīng)用數(shù)據(jù),都能處理數(shù)據(jù),這一點(diǎn)相信一定會(huì)在技術(shù)的研發(fā)中實(shí)現(xiàn),但問題在于,這些數(shù)據(jù)真的對(duì)每個(gè)人都有價(jià)值嗎?
一個(gè)企業(yè)可能花費(fèi)數(shù)十萬把整個(gè)公司近十年的數(shù)據(jù)拿來分析一遍,然后交給決策者,決策者看后欣然決定:“沒錯(cuò),我們下一步要做人工智能!人工智能一定能賺錢!”但是,這些決策真的需要大數(shù)據(jù)來提供幫助嗎?即使這家企業(yè)確實(shí)做了人工智能,也實(shí)現(xiàn)了增長(zhǎng),那么功勞真的應(yīng)該歸給大數(shù)據(jù)嗎?這家公司能稱之為數(shù)據(jù)驅(qū)動(dòng)型增長(zhǎng)企業(yè)嗎?
大數(shù)據(jù)目前面臨的就是一個(gè)這樣的問題,砸出去的是真金白銀,收回來的卻只是卻只是一群可能有用的信息。信息是無價(jià)的,觀點(diǎn)是無價(jià)的,但這個(gè)無價(jià)也可能真的就是一文不值。
大塊頭才要大數(shù)據(jù)
大數(shù)據(jù)在未來依然會(huì)強(qiáng)大,依然會(huì)是政府、公共事業(yè)、交通、航天等各種大型機(jī)構(gòu)的必需品??墒菍?duì)于普通企業(yè)以及普通員工來講,一張Excel表格也許就能解決問題,那么何必非要?jiǎng)佑谩昂宋洹奔?jí)別的大數(shù)據(jù)處理技術(shù)呢?在未來,數(shù)據(jù)依然重要無比,企業(yè)產(chǎn)生數(shù)據(jù),分析數(shù)據(jù),運(yùn)用數(shù)據(jù),可數(shù)據(jù)處理將會(huì)趨向常規(guī)化,而不會(huì)像大數(shù)據(jù)一樣轟轟烈烈。
未來,ABC之中的Big Data可能會(huì)卸下Big的頭冠,給Data讓位。數(shù)據(jù)才是大數(shù)據(jù)的核心,也是發(fā)展的核心,但這一切還需要考慮企業(yè)能否接受,和是否需要。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10