
新年伊始 大數(shù)據(jù)仍面臨重重考驗
大數(shù)據(jù)從“概念”走向“價值”,基于大數(shù)據(jù)的推薦與預(yù)測逐步流行,數(shù)據(jù)科學(xué)將興起,安全與隱私成為重要問題,大數(shù)據(jù)產(chǎn)業(yè)成為戰(zhàn)略性產(chǎn)業(yè)——這是中國計算機學(xué)會大數(shù)據(jù)專家委員會對“大數(shù)據(jù)”2018年十大趨勢預(yù)測中的內(nèi)容。在這份預(yù)測中,還包括數(shù)據(jù)商品化與數(shù)據(jù)共享聯(lián)盟化,大數(shù)據(jù)生態(tài)環(huán)境逐步發(fā)展等?!按髷?shù)據(jù)”從2012年預(yù)熱,到被各行各業(yè)所提及,各種輿論聲音紛雜,有人認(rèn)為這是一個機遇,也有人認(rèn)為這會是一場“泡沫”。2018年,大數(shù)據(jù)將面臨的問題有哪些?
數(shù)據(jù)開放仍是大問題
數(shù)據(jù)應(yīng)用的前提是數(shù)據(jù)開放,這已經(jīng)是共識。中國工程院院士、中國互聯(lián)網(wǎng)協(xié)會理事長鄔賀銓指出,中國人口居世界首位,但2010年中國新存儲的數(shù)據(jù)為250PB,僅為日本的60%和北美的7%。目前我國一些部門和機構(gòu)擁有大量數(shù)據(jù)但寧愿自己不用也不愿提供給有關(guān)部門共享,導(dǎo)致信息不完整或重復(fù)投資。2012年中國的數(shù)據(jù)存儲量達到64EB,其中55%的數(shù)據(jù)需要一定程度的保護,然而目前只有不到一半的數(shù)據(jù)得到保護。
孫九林介紹了美國在數(shù)據(jù)開放方面的做法。美國政府提供政策和經(jīng)費保障,使數(shù)據(jù)信息中心群成為國家信息生產(chǎn)和服務(wù)基地,保障數(shù)據(jù)信息供給不斷,利用網(wǎng)絡(luò)把數(shù)據(jù)和信息最便捷、及時地送到包括科學(xué)家、政府職員、公司職員、學(xué)校師生在內(nèi)所有公民的桌上和家庭中,把全社會帶進了信息化時代。
“讓每一位公民在數(shù)據(jù)、信息、知識、理論、決策、效益的各個環(huán)節(jié)上發(fā)揮才華,讓民眾把數(shù)據(jù)信息流動過程中和應(yīng)用過程中的各種價值充分挖掘出來,國家為他們才華的發(fā)揮和價值的挖掘帶好路、服務(wù)好、創(chuàng)造好環(huán)境。”孫九林認(rèn)為這就是美國政府選擇的數(shù)據(jù)信息共享的“大循環(huán)”道路。該思路在利益分配上的基本點就是讓全社會受益,讓整個國家受益。
目前,我國還沒有國家層面的專門適合數(shù)據(jù)共享的國家法律,只有相關(guān)的條例、法規(guī)、章程、意見等。
針對于大數(shù)據(jù)利用的前端——數(shù)據(jù)共享的問題,孫九林認(rèn)為,十多年的數(shù)據(jù)共享取得了很大的成效,特別是全社會的共享理念得到共識,但存在的問題仍然很突出:缺少國家層面的政策,已有分散的若干意見約束力不夠,高層管理人員對數(shù)據(jù)開放共享的深刻意義的認(rèn)識有待提高;現(xiàn)有國家數(shù)據(jù)共享平臺難以滿足國家發(fā)展和科技創(chuàng)新對數(shù)據(jù)資源的需求;缺少數(shù)據(jù)開放共享的專職隊伍和相應(yīng)的數(shù)據(jù)專家以及管理人才;缺少對專職數(shù)據(jù)共享服務(wù)人員的合理評價機制和標(biāo)準(zhǔn)等等。
急需“國家大數(shù)據(jù)戰(zhàn)略”宏觀統(tǒng)籌
“不要被大數(shù)據(jù)(Big Data)的 Big 誤導(dǎo),大數(shù)據(jù)更強調(diào)的不是數(shù)據(jù)大,而是數(shù)據(jù)挖掘?!痹诘谑畬脟倚畔⒒瘜<艺搲希w賀銓院士指出,大數(shù)據(jù)需要更強調(diào)數(shù)據(jù)挖掘利用,關(guān)鍵的是要有國家大數(shù)據(jù)戰(zhàn)略。
鄔賀銓提出,需要制定國家大數(shù)據(jù)發(fā)展戰(zhàn)略,大數(shù)據(jù)是一個應(yīng)用驅(qū)動性很強的服務(wù),其標(biāo)準(zhǔn)和產(chǎn)業(yè)格局尚未形成,這是我國跨越發(fā)展的機會,但切忌一哄而起在目的不明的情況下到處建設(shè)大數(shù)據(jù)中心,到處搞“數(shù)據(jù)房地產(chǎn)”,而是需要從戰(zhàn)略上重視大數(shù)據(jù)的開發(fā)利用,將它作為轉(zhuǎn)變經(jīng)濟增長方式的有效抓手。同時,我國需要盡快制定“信息保護法”和“信息公開法”,既要鼓勵面向群體而且服務(wù)于社會的數(shù)據(jù)挖掘,又要防止針對個體侵犯隱私的行為,提倡數(shù)據(jù)共享又要防止數(shù)據(jù)被濫用。
中國計算機學(xué)會專家委員會指出:大數(shù)據(jù)時代有兩點非常有利于中國信息產(chǎn)業(yè)的發(fā)展,第一是大數(shù)據(jù)技術(shù)發(fā)開源為主,迄今為止沒有形成技術(shù)壟斷;第二點,中國的人口和經(jīng)濟規(guī)模決定了中國的數(shù)據(jù)資產(chǎn)規(guī)模全球最大。因此,政府、學(xué)界、產(chǎn)業(yè)界和資本市場應(yīng)該通力合作,在確保國家數(shù)據(jù)安全的前提下,最大程度地開放數(shù)據(jù)資產(chǎn),釋放大數(shù)據(jù)的巨大價值。
目前已經(jīng)有一批企業(yè)開始用數(shù)據(jù)創(chuàng)業(yè)。在國外已經(jīng)有不少用數(shù)據(jù)提供服務(wù)、做數(shù)據(jù)分析、進行可視化研究的公司,有些已經(jīng)取得不錯的業(yè)績,甚至有很好的前景而拒絕大公司收購。有人預(yù)測,如果國內(nèi)互聯(lián)網(wǎng)創(chuàng)業(yè)者,能從海量的“垃圾”信息中嗅出些端倪,找到某個切入點,沒準(zhǔn)能成為行業(yè)的佼佼者。不過,現(xiàn)在在國內(nèi)找出個像樣的“大數(shù)據(jù)”初創(chuàng)公司并非易事;但也有人認(rèn)為,正是有這樣的空白存在,才讓人看到機遇
各國大數(shù)據(jù)人才緊缺
大數(shù)據(jù)人才無疑是緊缺人才。Gartner咨詢公司預(yù)測,大數(shù)據(jù)將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預(yù)計,美國到2018年深度數(shù)據(jù)分析人才缺口將達14萬~19萬人,能夠分析數(shù)據(jù)幫助公司獲得經(jīng)濟效益的技術(shù)及管理人才有150萬人的缺口。中國能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。
大數(shù)據(jù)專家委員會認(rèn)為,從目前各國的人才培養(yǎng)來看,數(shù)據(jù)科學(xué)家應(yīng)掌握數(shù)學(xué)、統(tǒng)計學(xué)、數(shù)據(jù)分析、商業(yè)分析和自然語言處理等學(xué)科技能,具有較寬的知識面,具有獨立獲取知識的能力。復(fù)旦大學(xué)的課程設(shè)置強調(diào)了數(shù)據(jù)科學(xué)家是研究數(shù)據(jù)的科學(xué)家,而不僅僅是一個數(shù)據(jù)工程師或者數(shù)據(jù)分析師。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03