
繼移動互聯(lián)網(wǎng)后的又一個浪潮:大數(shù)據(jù)
數(shù)據(jù)成為 DT 時代的核心要素。 今年上半年互聯(lián)網(wǎng)熱出現(xiàn)一個新動向,就是入口和應(yīng)用場景的爭奪已到了短兵相接、貼身肉搏的激烈程度。巨頭們爭奪的最終目標(biāo)是數(shù)據(jù)資源。數(shù)據(jù)已成為 DT(數(shù)據(jù)技術(shù))時代的核心要素。世界經(jīng)濟(jì)論壇報告曾經(jīng)預(yù)測: “未來的大數(shù)據(jù) 將成為新的財富高地,其價值可能會堪比石油”,成為戰(zhàn)略性資源。
被低估的影響:大數(shù)據(jù)將指引人類走向智能社會。 一方面大數(shù)據(jù)“量”和“質(zhì)”的雙提升奠定人工智能的基礎(chǔ),另一方面數(shù)據(jù)驅(qū)動顛覆傳統(tǒng)計算機(jī)算法,導(dǎo)致人工智能出現(xiàn)突破性進(jìn)展,而人工智能又進(jìn)一步加速了大數(shù)據(jù)價值的挖掘和應(yīng)用,使人類社會進(jìn)入了向智能社會 發(fā)展的“正循環(huán)”。
政府:推動大數(shù)據(jù)應(yīng)用的最關(guān)鍵力量。 政府擁有最多且最具應(yīng)用價值的核心數(shù)據(jù),一方面大數(shù)據(jù)已經(jīng)上升至各國國家戰(zhàn)略,政府推進(jìn)大數(shù)據(jù)開放已經(jīng)是大勢所趨: 美國等發(fā)達(dá)國家紛紛布局大數(shù)據(jù)產(chǎn)業(yè),推出大數(shù)據(jù)相關(guān)政策。大數(shù)據(jù)對整個世界的影響力呈現(xiàn)快速增長趨 勢,將引發(fā)新一輪大國競爭。 另一方面我國對大數(shù)據(jù)的政策支持力度上不斷提升,大數(shù)據(jù)戰(zhàn)略將上升至國家戰(zhàn)略, 國務(wù)院已經(jīng)下達(dá)各部委大數(shù)據(jù)工作任務(wù)行動時間表,大數(shù)據(jù)發(fā)展緊迫性和必要性可見一斑,同時也意味著我國大數(shù)據(jù)發(fā)展面臨歷史性機(jī)遇。
數(shù)據(jù)價值正在被不斷發(fā)現(xiàn)。 互聯(lián)網(wǎng)早期有句名言 “在網(wǎng)上,沒有人知道你是一條狗。 ”如今有了大數(shù)據(jù),在網(wǎng)上,不僅有人知道你是一條“狗”,而且還知道你是一條什么樣的“狗”,愛吃什么、什么時候睡。大數(shù)據(jù)除了具有挖掘商機(jī)、精準(zhǔn)營銷、決策支持、提高效 率等發(fā)現(xiàn)價值功能,還有創(chuàng)造價值的功能:能創(chuàng)造新的消費(fèi)體驗、創(chuàng)造新的商業(yè)模式和創(chuàng)造新的消費(fèi)需求。
大數(shù)據(jù)產(chǎn)業(yè)鏈: 一是數(shù)據(jù)收集, 其途徑:
1、自行收集。如今年 1 月工行“融e 購”商城正式上線,其目的是希望通過發(fā)展電商來獲得大數(shù)據(jù)方面的主動權(quán);
2、與第三方合作。如平安銀行攜手 eBay 推出“貸貸平安商務(wù)卡”;
3、“線下數(shù)據(jù)”轉(zhuǎn)變?yōu)椤熬€上數(shù)據(jù)”。傳統(tǒng)行業(yè)的“線下數(shù)據(jù)”轉(zhuǎn)變?yōu)椤熬€上數(shù)據(jù)”將是 DT 時代的血液之一。 “線下數(shù)據(jù)”就是傳統(tǒng)行業(yè)的優(yōu)勢。
二是數(shù)據(jù)處理,數(shù)據(jù)處理包括鑒別、整理、歸類以及建模分析、挖掘利用等,數(shù)據(jù)科學(xué)家可能成為未來最熱門職業(yè)。三是技術(shù)支撐,包括硬件和軟件兩部分。
大數(shù)據(jù)與產(chǎn)業(yè)的聚合效應(yīng)。 大數(shù)據(jù)與生物醫(yī)藥、農(nóng)業(yè)、電信、視頻、 互聯(lián)網(wǎng)金融、工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、信息安全等產(chǎn)業(yè)的結(jié)合將產(chǎn)生巨大的化學(xué)反應(yīng)。
1. 大數(shù)據(jù): DT 時代的核心要素
1.1. 大數(shù)據(jù)是未來社會的核心資源
大數(shù)據(jù)是“互聯(lián)網(wǎng)+”的核心要素。 互聯(lián)網(wǎng)的未來在于連接一切,從連接人與人向連接人與服務(wù)、人與物、物與物擴(kuò)散, 使得海量數(shù)據(jù)的生產(chǎn)和連通變成現(xiàn)實(shí),成為大數(shù)據(jù)應(yīng)用的基礎(chǔ)。 尤其在傳統(tǒng)行業(yè),信息及數(shù)據(jù)是被忽視的, 缺乏有效的手段進(jìn)行充分利用, 互聯(lián) 網(wǎng)與傳統(tǒng)產(chǎn)業(yè)融合的重要目的在于將潛在信息和數(shù)據(jù)的價值進(jìn)行釋放, 因此,評價“互聯(lián)網(wǎng) +”的指標(biāo)絕非是簡單的信息化,而是對企業(yè)的整體生態(tài)系統(tǒng)進(jìn)行數(shù)據(jù)化, 讓企業(yè)的一切業(yè)務(wù)都變得可以分析, 進(jìn)而更好的識別市場和用戶。
從某種程度上來說, 數(shù)據(jù)是現(xiàn)實(shí)世界在虛擬世界的一個“映像”, 可以通過數(shù)據(jù)挖掘對“虛擬映像”進(jìn)行分析, 進(jìn)而對工作流程、商業(yè)模式、產(chǎn)品設(shè)計產(chǎn)生巨大的影響, 服務(wù)于產(chǎn)業(yè)本身。 正如馬化騰所說,“互聯(lián)網(wǎng) +”代表的是一種“信息能源”,能夠促使互聯(lián)網(wǎng) 與傳統(tǒng)產(chǎn)業(yè)不斷融合。
數(shù)據(jù)逐漸成為整個經(jīng)濟(jì)社會的核心資源。十八世紀(jì)的農(nóng)業(yè)社會,經(jīng)濟(jì)整體以農(nóng)業(yè)為主,十九世紀(jì)制造業(yè)起步, 1950 年 GDP 大部分是制造業(yè), 而未來數(shù)字經(jīng)濟(jì)占據(jù)經(jīng)濟(jì)的主體地位已經(jīng)成為必然的趨勢。全球經(jīng)濟(jì)從農(nóng)業(yè)經(jīng)濟(jì)到工業(yè)經(jīng)濟(jì)再到信息經(jīng)濟(jì)演變的驅(qū)動力來自于 技術(shù)的突破,技術(shù)在改變生產(chǎn)力和生產(chǎn)關(guān)系。信息要素全面升級,尤其是云計算正在變成基礎(chǔ)設(shè)施,數(shù)據(jù)在變成整個經(jīng)濟(jì)社會的核心資源。
1.2. 被低估的影響: 大數(shù)據(jù)將指引人類走向智能社會
1.2.1. 大數(shù)據(jù)“量”和“質(zhì)”的雙提升奠定機(jī)器智能的基礎(chǔ)
第一,萬物互聯(lián)造就了數(shù)據(jù)“量”的階躍發(fā)展。 從人類文明出現(xiàn)到 2003 年,人類總共才產(chǎn)生了 5EB(ExaBytes)的數(shù)據(jù)。計算機(jī)出現(xiàn)后, 尤其是近年來移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的出現(xiàn), 數(shù)據(jù)產(chǎn)生的速度和規(guī)模開始急劇提升, 過去幾年產(chǎn)生的數(shù)據(jù)比以往 4 萬年的數(shù)據(jù)總 量還要多。預(yù)計隨著互聯(lián)網(wǎng)與產(chǎn)業(yè)的加速融合,未來數(shù)據(jù)體量的增速將呈現(xiàn)指數(shù)上升態(tài)勢。 IDC 預(yù)計 2020 年全球數(shù)據(jù)使用量將達(dá)到 40ZB(ZettaBytes),需要約 429 億個 1TB的硬盤進(jìn)行存儲,屆時中國產(chǎn)生的數(shù)據(jù)量將占到全球總量的 21%。
第二,數(shù)據(jù)逐步趨向與由“端”產(chǎn)生, 從“質(zhì)”上講兼具多維性與完備性。 數(shù)據(jù)的產(chǎn)生一定會在云、端、網(wǎng)這三個視角產(chǎn)生。 2014 年全球互聯(lián)網(wǎng)用戶有 30 億, Facebook 有 22億注冊用戶,月活躍用戶超過 13 億人口。我們在 2014 年全球智能手機(jī)出貨量突破 13 億,連網(wǎng)設(shè)備超過 300 億個。 未來可能會有 80-90%數(shù)據(jù)基于用戶智能終端和聯(lián)網(wǎng)設(shè)備產(chǎn)生,由于這些數(shù)據(jù)連接人體、連接環(huán)境、連接物體、連接思想, 將原來看似無關(guān)的維度(時間、地域、食品、做法,成分,人的身份和收入情況等)聯(lián)系了起來, 構(gòu)成了今天的非常 生動的數(shù)據(jù)社會的景象,這種數(shù)據(jù)連接起來才能流動共享,真正實(shí)現(xiàn)數(shù)據(jù)的社會經(jīng)濟(jì)價值。
1.2.2. 數(shù)據(jù)驅(qū)動顛覆傳統(tǒng)計算機(jī)算法, 導(dǎo)致人工智能出現(xiàn)突破性進(jìn)展
互聯(lián)網(wǎng)的發(fā)展為訓(xùn)練機(jī)器模型提供了足夠多的數(shù)據(jù)量,而這種數(shù)據(jù)驅(qū)動算法以深度學(xué)習(xí)為代表,不但顛覆了傳統(tǒng)的計算機(jī)算法,也使得人工智能出現(xiàn)突破性拐點(diǎn)。一個典型的例子是 2005 年 NIST 對全世界各家機(jī)器翻譯系統(tǒng)評測的結(jié)果中,從未做過機(jī)器翻譯的Google, 不僅一舉奪得了各項評比的第一名,而且將其它單位的系統(tǒng)遠(yuǎn)遠(yuǎn)拋在了后面,而 Google 系統(tǒng)和其他系統(tǒng)主要的優(yōu)勢就在于使用了其他對手近萬倍的數(shù)據(jù)量。 而國內(nèi)人工智能代表公司科大訊飛近幾年在采用深度學(xué)習(xí)算法,利用大數(shù)據(jù)訓(xùn)練后,近幾年其語音識別和手寫識 別錯誤率均保持 30%-50%的下降。
1.2.3. 大數(shù)據(jù)與人工智能相互促進(jìn),實(shí)現(xiàn)發(fā)展的正循環(huán)
人工智能是解決大數(shù)據(jù)的數(shù)量和效率之間矛盾的關(guān)鍵
傳統(tǒng)的機(jī)器學(xué)習(xí)通過標(biāo)記數(shù)據(jù)進(jìn)行有監(jiān)督學(xué)習(xí),隨著其處理數(shù)據(jù)量的增大, 需要外界的支持和幫助也就不斷增加, 且計算結(jié)果準(zhǔn)確性也會受到影響。 因此越來越多的數(shù)據(jù)將成為負(fù)擔(dān),也更容易達(dá)到極限或產(chǎn)生錯誤結(jié)果。人工智能的突破性技術(shù)——深度學(xué)習(xí)是從未經(jīng)標(biāo) 記的數(shù)據(jù)展開學(xué)習(xí),更接近人腦的學(xué)習(xí)方式,可以通過訓(xùn)練之后自行掌握概念,且輸出結(jié)果會隨著數(shù)據(jù)處理量的增大而更加準(zhǔn)確。同時,深度學(xué)習(xí)在加速回歸定律的指引下會使得進(jìn)化過程中產(chǎn)物(輸出結(jié)果)獲得指數(shù)級增長,當(dāng)深度學(xué)習(xí)的效率變得更高,就會吸引更多 的資源向它聚合,使其發(fā)展更為迅速。
大數(shù)據(jù)利用人工智能實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的正循環(huán)
百度首席科學(xué)家吳恩達(dá)層提出 : 從優(yōu)秀產(chǎn)品到大量用戶,再到海量數(shù)據(jù),最后返回優(yōu)秀產(chǎn)品是一個良性循環(huán),但最后一個環(huán)節(jié)“海量數(shù)據(jù)到優(yōu)秀產(chǎn)品”會出現(xiàn)問題,因為當(dāng)數(shù)據(jù)積累過多時,就無法對這些數(shù)據(jù)進(jìn)行完整和準(zhǔn)確的處理。
以百度為例, 百度的數(shù)據(jù)處理自上而下分成開放云、數(shù)據(jù)工廠和百度大腦三個層級,最底層的開放云收集數(shù)據(jù),數(shù)據(jù)工廠對數(shù)據(jù)庫進(jìn)行管理,最上層百度大腦的模擬神經(jīng)網(wǎng)絡(luò)通過機(jī)器學(xué)習(xí)高效的輸出結(jié)果,從而實(shí)現(xiàn)行業(yè)應(yīng)用,百度大腦就是在最后一個環(huán)節(jié)體現(xiàn)出巨大價 值,帶來更好的信息處理能力,從而產(chǎn)生更加廣泛和深入的行業(yè)應(yīng)用,比如百度大數(shù)據(jù)此前在醫(yī)療、交通和金融領(lǐng)域的應(yīng)用。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03