
大數(shù)據(jù)進(jìn)入挖掘為王時代“新礦工”挖掘新未來
一堆毫無交集的數(shù)據(jù),經(jīng)過一番交融薈萃,催生出全新的應(yīng)用,激發(fā)出全新的商業(yè)模式,孕育出新的產(chǎn)業(yè),培育出新的經(jīng)濟(jì)增長點,顛覆著傳統(tǒng)的經(jīng)濟(jì)活動…… 數(shù)據(jù)挖掘顯現(xiàn)的這一系列價值,正在推出一個以數(shù)據(jù)挖掘為核心的大數(shù)據(jù)價值輸出新時代。
影響所及,無所不達(dá)。3月1日,一場圍繞數(shù)據(jù)挖掘的全球賽事——2017中國國際大數(shù)據(jù)挖掘大賽在我國首個大數(shù)據(jù)試驗區(qū)貴州宣布啟動。
“相對于采集、儲存,數(shù)據(jù)挖掘是大數(shù)據(jù)走向應(yīng)用創(chuàng)造價值的關(guān)鍵?!贝筚惤M委會一位負(fù)責(zé)人表示,“貴州在拼命開放數(shù)據(jù)的同時,也在全力進(jìn)行數(shù)據(jù)挖掘,就是要盡快‘逼出’大數(shù)據(jù)的價值,讓大數(shù)據(jù)戰(zhàn)略釋放出大紅利?!?
貴州只是全球大數(shù)據(jù)浪潮的縮影。無論中國的西部,還是美國的硅谷,“挖掘”的聲音在全球同步響起,洶涌澎湃。數(shù)據(jù)資源的開放,挖掘工具的進(jìn)步,商業(yè)前景的清晰,數(shù)據(jù)挖掘成為新一輪市場熱點,愈發(fā)受到資本的追捧。
數(shù)據(jù)價值輸出新時代
“如果把大數(shù)據(jù)比作石油,那么挖掘就是勘探、鉆井、提煉、加工。核心是把數(shù)據(jù)資源變現(xiàn)成商用價值?!币晃辉鴧⑴c國家大數(shù)據(jù)行動計劃綱要起草的專家表示,數(shù)據(jù)資源已經(jīng)成為國家戰(zhàn)略性資源,我國必須盡快在大數(shù)據(jù)挖掘這個關(guān)鍵點有所突破。
目前國際主流的做法是把大數(shù)據(jù)鏈條分為數(shù)據(jù)獲取、預(yù)處理、存儲、挖掘或分析、可視化五個關(guān)鍵環(huán)節(jié),挖掘被認(rèn)為是核心。
“真正的大數(shù)據(jù)就體現(xiàn)在大數(shù)據(jù)的深度挖掘應(yīng)用。”中科院院士、北京理工大學(xué)副校長梅宏在一次大數(shù)據(jù)論壇上表示。
“這實際上是數(shù)據(jù)價值在不斷提升的體現(xiàn)。”上述國家大數(shù)據(jù)行動計劃綱要起草專家分析說,以前是對于數(shù)據(jù)資源的利用,更多是信息的獲取,例如企業(yè)通過經(jīng)營數(shù)據(jù)的分析統(tǒng)計,總結(jié)過去的經(jīng)營活動。而現(xiàn)在不再局限于信息獲取,同時實時數(shù)據(jù)資源的挖掘,可以優(yōu)化業(yè)務(wù)模塊,可以催生新的業(yè)務(wù)模塊,這是顛覆性的。
全球知名咨詢公司德勤發(fā)布的《2016分析趨勢報告》認(rèn)為,數(shù)據(jù)挖掘的威力和價值正在凸顯出,它幫助人們作出更明智的決策,優(yōu)化企業(yè)和社會運(yùn)轉(zhuǎn)。“商界正在積極尋找可以讓他們贏得優(yōu)勢的科學(xué)方法。”
“我們已經(jīng)走進(jìn)數(shù)據(jù)價值輸出的時代?!痹搶<冶硎?,“大數(shù)據(jù)依靠挖掘而呈現(xiàn)的巨大商業(yè)價值,正在成為推動經(jīng)濟(jì)變革的新引擎?!?
挖掘需要更多的數(shù)據(jù)
豐富的數(shù)據(jù)源是進(jìn)行大數(shù)據(jù)挖掘的前提。德勤最新發(fā)布報告《2017德勤技術(shù)趨勢》指出,數(shù)據(jù)資源正在指數(shù)級的增長,到2020年,全球的數(shù)字預(yù)計將達(dá)到44澤字節(jié)(zetta bytes)。”
盡管數(shù)據(jù)資源在全球呈指數(shù)級增長,但是數(shù)據(jù)資源的開放和共享程度卻亟待提升?!皬膰H上看,政府?dāng)?shù)據(jù)開放還處于初期階段,主要通過制定戰(zhàn)略或政策文件形式指導(dǎo)開放?!敝袊畔⑼ㄐ叛芯吭夯ヂ?lián)網(wǎng)法律研究中心主任工程師楊筱敏說。
楊筱敏說,2015年我國密集發(fā)布了多個相關(guān)文件,其中最主要的是國務(wù)院《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》。綱要對相關(guān)政策進(jìn)行了梳理,提出在開放前提下加強(qiáng)安全和隱私保護(hù),在數(shù)據(jù)開放的思路上增量先行,提出在2018年底前建成國家統(tǒng)一的數(shù)據(jù)開放平臺。
“目前我國信息數(shù)據(jù)資源80%以上掌握在各級政府部門手里,‘深藏閨中’是極大浪費(fèi)?!?016年5月9日的全國推進(jìn)簡政放權(quán)放管結(jié)合優(yōu)化服務(wù)改革電視電話會議上,國務(wù)院總理李克強(qiáng)要求盡快實現(xiàn)政府?dāng)?shù)據(jù)開放。
實際上,嗅覺靈敏的貴州、寧夏等省份,早在幾年前就開始布局大數(shù)據(jù)。貴州甚至是全國第一個大數(shù)據(jù)綜合試驗區(qū),政府?dāng)?shù)據(jù)開放是其重要的試驗內(nèi)容。
貴州在2014年開始大數(shù)據(jù)行動,第一步就是打造一個數(shù)據(jù)開放共享的“聚通用”云上貴州平臺。到了2016年下半年時候,貴州突然加大了推進(jìn)力度,啟動“數(shù)據(jù)‘聚通用’攻堅會戰(zhàn)”。
貴州省大數(shù)據(jù)發(fā)展管理局副局長康克巖介紹,2017年元旦前夕,貴州省法人單位、人口、空間地理、宏觀經(jīng)濟(jì)四大基礎(chǔ)數(shù)據(jù)庫數(shù)據(jù)匯入共享平臺,貴州率先實現(xiàn)50%以上政府?dāng)?shù)據(jù)“云上”開放共享。
記者梳理發(fā)現(xiàn),北京、上海、浙江、青島、武漢地已建立了專門的政府?dāng)?shù)據(jù)開放平臺。最近,河北省和安徽省均表示要在2018年底前初步建成政府?dāng)?shù)據(jù)開放平臺。
在此次大賽啟動會上,來自貴陽、北京、上海、深圳、廣州、杭州等17個國內(nèi)政府?dāng)?shù)據(jù)開放先行城市的代表,共同發(fā)布了《共同促進(jìn)數(shù)據(jù)開放及應(yīng)用行動宣言》,呼吁共同努力促進(jìn)政府?dāng)?shù)據(jù)開放。
“新礦工”挖掘新未來
隨著數(shù)據(jù)資源越來越多,數(shù)據(jù)形態(tài)越來越豐富??悼藥r在分享貴州數(shù)據(jù)開放經(jīng)驗時表示,在進(jìn)行海量數(shù)據(jù)匯集過程中,有一個難題就是數(shù)據(jù)格式不統(tǒng)一、標(biāo)準(zhǔn)不統(tǒng)一。
形態(tài)各異的數(shù)據(jù)正是大數(shù)據(jù)的顯著特征。海量的圖片、聲音和視頻甚至互聯(lián)網(wǎng)上的閑言碎語——《2017德勤技術(shù)趨勢》將這種非結(jié)構(gòu)化的數(shù)據(jù)稱之為暗數(shù)據(jù)。
德勤在報告里宣稱,這些暗數(shù)據(jù)是比以往任何時候都更有價值的數(shù)據(jù)源,當(dāng)然,對挖掘技術(shù)的要求也越來越高。
不過這并沒有阻擋市場的熱情,越來越多大數(shù)據(jù)企業(yè)和數(shù)據(jù)科學(xué)家加入到“暗數(shù)據(jù)挖掘”戰(zhàn)。
移動信息化研究中心2月10日發(fā)布的《2016中國大數(shù)據(jù)市場研究報告》顯示,國內(nèi)大數(shù)據(jù)企業(yè)此前主要聚焦在技術(shù)壁壘較低的應(yīng)用、可視化等環(huán)節(jié),而在存儲和挖掘等環(huán)節(jié),極少有企業(yè)切入。但是到了2016年,看到了利好消息。該報告顯示,從2013年到2016年,數(shù)據(jù)挖掘在大數(shù)據(jù)產(chǎn)業(yè)鏈中的分布情況從4.1%上升到9.2%。
該報告也顯示,從大數(shù)據(jù)主要產(chǎn)業(yè)鏈?zhǔn)袌龇蓊~占上看,數(shù)據(jù)存儲約占12.5%,存儲14.7%,應(yīng)用7.9%,挖掘占比最高,為17.3%。報告認(rèn)為產(chǎn)業(yè)鏈縱向各環(huán)節(jié)均屬藍(lán)海市場,而挖掘高風(fēng)險與高收益并存。
麥肯錫更是對數(shù)據(jù)挖掘大唱贊歌。麥肯錫全球研究所一份報告指出,到2025年,物聯(lián)網(wǎng)11.1萬億美元的年產(chǎn)值中60%將來自于對數(shù)據(jù)的整合和挖掘。
事實上,國內(nèi)資本看好大數(shù)據(jù)挖掘這片市場,多數(shù)大數(shù)據(jù)創(chuàng)新企業(yè)在A輪或A輪以前可以融到數(shù)千萬的啟動資金,極大程度的催熟創(chuàng)新企業(yè)的成長。
知名風(fēng)投看好,作價千萬提前布局,這其中不乏有IDG資本、經(jīng)緯中國、達(dá)晨創(chuàng)投的身影。聚焦于數(shù)據(jù)挖掘的昆侖數(shù)據(jù)曾獲得達(dá)晨創(chuàng)投數(shù)千萬元的A輪融資。
資本的熱捧下,人工智能(AI)、深度學(xué)習(xí)等大數(shù)據(jù)挖掘技術(shù)和工具的概念也烈焰高漲。時代呼喚新的“礦工”,尋找新的挖掘技術(shù)和工具,成為搶占大數(shù)據(jù)風(fēng)口的制高點,關(guān)于數(shù)據(jù)挖掘的賽事也成為外界觀察大數(shù)據(jù)脈動的風(fēng)向標(biāo)。
“2017年大賽將聚焦數(shù)據(jù)挖掘及應(yīng)用,清晰展現(xiàn)大數(shù)據(jù)價值路徑?!鄙鲜龃筚惤M委會負(fù)責(zé)人士表示,“以貴陽為代表的貴州,在政府?dāng)?shù)據(jù)開放領(lǐng)域形成領(lǐng)先全國的態(tài)勢,為大數(shù)據(jù)挖掘大賽提供了很好的基礎(chǔ)和支撐。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03