
大數(shù)據(jù)2014年面臨幾道關(guān)_數(shù)據(jù)分析師
大數(shù)據(jù)從概念走向價(jià)值,基于大數(shù)據(jù)的推薦與預(yù)測(cè)逐步流行,數(shù)據(jù)科學(xué)將興起,安全與隱私成為重要問題,大數(shù)據(jù)產(chǎn)業(yè)成為戰(zhàn)略性產(chǎn)業(yè)這是中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)對(duì)大數(shù)據(jù)2014年十大趨勢(shì)預(yù)測(cè)中的內(nèi)容。在這份預(yù)測(cè)中,還包括數(shù)據(jù)商品化與數(shù)據(jù)共享聯(lián)盟化,大數(shù)據(jù)生態(tài)環(huán)境逐步發(fā)展等。同時(shí),大數(shù)據(jù)專家委員會(huì)預(yù)測(cè),2014年,互聯(lián)網(wǎng)和電子商務(wù)、金融(股市預(yù)測(cè)、金融分析)、健康醫(yī)療(流行病監(jiān)控和預(yù)測(cè)等),生物信息、制藥等方面將會(huì)有令人矚目的應(yīng)用。剛剛過去的2013年,大數(shù)據(jù)在醫(yī)療、金融、電子商務(wù)和城市管理等方面應(yīng)用較多。
大數(shù)據(jù)從2012年預(yù)熱,到2013年被各行各業(yè)所提及,各種輿論聲音紛雜,有人認(rèn)為這是一個(gè)機(jī)遇,也有人認(rèn)為這會(huì)是一場(chǎng)泡沫。2014年,大數(shù)據(jù)將面臨的問題有哪些?
數(shù)據(jù)開放仍是大問題
數(shù)據(jù)應(yīng)用的前提是數(shù)據(jù)開放,這已經(jīng)是共識(shí)。中國(guó)工程院院士、中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)理事長(zhǎng)鄔賀銓指出,中國(guó)人口居世界首位,但2010年中國(guó)新存儲(chǔ)的數(shù)據(jù)為250PB,僅為日本的60%和北美的7%。目前我國(guó)一些部門和機(jī)構(gòu)擁有大量數(shù)據(jù)但寧愿自己不用也不愿提供給有關(guān)部門共享,導(dǎo)致信息不完整或重復(fù)投資。2012年中國(guó)的數(shù)據(jù)存儲(chǔ)量達(dá)到64EB,其中55%的數(shù)據(jù)需要一定程度的保護(hù),然而目前只有不到一半的數(shù)據(jù)得到保護(hù)。
去年12月14日,在中國(guó)計(jì)算機(jī)學(xué)會(huì)青年科學(xué)家論壇(YOCSEF)上,中科院地理科學(xué)與資源研究所研究員、中國(guó)工程院院士孫九林先生回顧了我國(guó)科學(xué)數(shù)據(jù)開放共享歷程:2003年,科技部在財(cái)政部的支持下設(shè)立了科技基礎(chǔ)條件平臺(tái)建設(shè)專項(xiàng),科學(xué)數(shù)據(jù)共享工程作為重要組成部分納入科技基礎(chǔ)條件平臺(tái)建設(shè);2008年,科技部發(fā)布973計(jì)劃資源環(huán)境領(lǐng)域數(shù)據(jù)匯交管理辦法;2009年,第一批科學(xué)數(shù)據(jù)共享項(xiàng)目驗(yàn)收,轉(zhuǎn)入運(yùn)行服務(wù)階段;2011年,國(guó)家科技基礎(chǔ)條件平臺(tái)組織首批認(rèn)定。
孫九林介紹了美國(guó)在數(shù)據(jù)開放方面的做法。美國(guó)政府提供政策和經(jīng)費(fèi)保障,使數(shù)據(jù)信息中心群成為國(guó)家信息生產(chǎn)和服務(wù)基地,保障數(shù)據(jù)信息供給不斷,利用網(wǎng)絡(luò)把數(shù)據(jù)和信息最便捷、及時(shí)地送到包括科學(xué)家、政府職員、公司職員、學(xué)校師生在內(nèi)所有公民的桌上和家庭中,把全社會(huì)帶進(jìn)了信息化時(shí)代。
讓每一位公民在數(shù)據(jù)、信息、知識(shí)、理論、決策、效益的各個(gè)環(huán)節(jié)上發(fā)揮才華,讓民眾把數(shù)據(jù)信息流動(dòng)過程中和應(yīng)用過程中的各種價(jià)值充分挖掘出來(lái),國(guó)家為他們才華的發(fā)揮和價(jià)值的挖掘帶好路、服務(wù)好、創(chuàng)造好環(huán)境。孫九林認(rèn)為這就是美國(guó)政府選擇的數(shù)據(jù)信息共享的大循環(huán)道路。該思路在利益分配上的基本點(diǎn)就是讓全社會(huì)受益,讓整個(gè)國(guó)家受益。
目前,我國(guó)還沒有國(guó)家層面的專門適合數(shù)據(jù)共享的國(guó)家法律,只有相關(guān)的條例、法規(guī)、章程、意見等。
針對(duì)于大數(shù)據(jù)利用的前端數(shù)據(jù)共享的問題,孫九林認(rèn)為,十多年的數(shù)據(jù)共享取得了很大的成效,特別是全社會(huì)的共享理念得到共識(shí),但存在的問題仍然很突出:缺少國(guó)家層面的政策,已有分散的若干意見約束力不夠,高層管理人員對(duì)數(shù)據(jù)開放共享的深刻意義的認(rèn)識(shí)有待提高;現(xiàn)有國(guó)家數(shù)據(jù)共享平臺(tái)難以滿足國(guó)家發(fā)展和科技創(chuàng)新對(duì)數(shù)據(jù)資源的需求;缺少數(shù)據(jù)開放共享的專職隊(duì)伍和相應(yīng)的數(shù)據(jù)專家以及管理人才;缺少對(duì)專職數(shù)據(jù)共享服務(wù)人員的合理評(píng)價(jià)機(jī)制和標(biāo)準(zhǔn)等等。
急需國(guó)家大數(shù)據(jù)戰(zhàn)略宏觀統(tǒng)籌
不要被大數(shù)據(jù)(Big Data)的 Big 誤導(dǎo),大數(shù)據(jù)更強(qiáng)調(diào)的不是數(shù)據(jù)大,而是數(shù)據(jù)挖掘。在第十屆國(guó)家信息化專家論壇上,鄔賀銓院士指出,大數(shù)據(jù)需要更強(qiáng)調(diào)數(shù)據(jù)挖掘利用,關(guān)鍵的是要有國(guó)家大數(shù)據(jù)戰(zhàn)略。
鄔賀銓提出,需要制定國(guó)家大數(shù)據(jù)發(fā)展戰(zhàn)略,大數(shù)據(jù)是一個(gè)應(yīng)用驅(qū)動(dòng)性很強(qiáng)的服務(wù),其標(biāo)準(zhǔn)和產(chǎn)業(yè)格局尚未形成,這是我國(guó)跨越發(fā)展的機(jī)會(huì),但切忌一哄而起在目的不明的情況下到處建設(shè)大數(shù)據(jù)中心,到處搞數(shù)據(jù)房地產(chǎn),而是需要從戰(zhàn)略上重視大數(shù)據(jù)的開發(fā)利用,將它作為轉(zhuǎn)變經(jīng)濟(jì)增長(zhǎng)方式的有效抓手。同時(shí),我國(guó)需要盡快制定信息保護(hù)法和信息公開法,既要鼓勵(lì)面向群體而且服務(wù)于社會(huì)的數(shù)據(jù)挖掘,又要防止針對(duì)個(gè)體侵犯隱私的行為,提倡數(shù)據(jù)共享又要防止數(shù)據(jù)被濫用。
中國(guó)計(jì)算機(jī)學(xué)會(huì)專家委員會(huì)指出:大數(shù)據(jù)時(shí)代有兩點(diǎn)非常有利于中國(guó)信息產(chǎn)業(yè)的發(fā)展,第一是大數(shù)據(jù)技術(shù)發(fā)開源為主,迄今為止沒有形成技術(shù)壟斷;第二點(diǎn),中國(guó)的人口和經(jīng)濟(jì)規(guī)模決定了中國(guó)的數(shù)據(jù)資產(chǎn)規(guī)模全球最大。因此,政府、學(xué)界、產(chǎn)業(yè)界和資本市場(chǎng)應(yīng)該通力合作,在確保國(guó)家數(shù)據(jù)安全的前提下,最大程度地開放數(shù)據(jù)資產(chǎn),釋放大數(shù)據(jù)的巨大價(jià)值。
目前已經(jīng)有一批企業(yè)開始用數(shù)據(jù)創(chuàng)業(yè)。在國(guó)外已經(jīng)有不少用數(shù)據(jù)提供服務(wù)、做數(shù)據(jù)分析、進(jìn)行可視化研究的公司,有些已經(jīng)取得不錯(cuò)的業(yè)績(jī),甚至有很好的前景而拒絕大公司收購(gòu)。有人預(yù)測(cè),如果國(guó)內(nèi)互聯(lián)網(wǎng)創(chuàng)業(yè)者,能從海量的垃圾信息中嗅出些端倪,找到某個(gè)切入點(diǎn),沒準(zhǔn)能成為行業(yè)的佼佼者。不過,現(xiàn)在在國(guó)內(nèi)找出個(gè)像樣的大數(shù)據(jù)初創(chuàng)公司并非易事;但也有人認(rèn)為,正是有這樣的空白存在,才讓人看到機(jī)遇。
各國(guó)大數(shù)據(jù)人才緊缺
大數(shù)據(jù)人才無(wú)疑是緊缺人才。Gartner咨詢公司預(yù)測(cè),大數(shù)據(jù)將為全球帶來(lái)440萬(wàn)個(gè)IT新崗位和上千萬(wàn)個(gè)非IT崗位。麥肯錫公司預(yù)計(jì),美國(guó)到2018年深度數(shù)據(jù)分析人才缺口將達(dá)14萬(wàn)~19萬(wàn)人,能夠分析數(shù)據(jù)幫助公司獲得經(jīng)濟(jì)效益的技術(shù)及管理人才有150萬(wàn)人的缺口。中國(guó)能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。
IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)發(fā)布預(yù)測(cè)報(bào)告稱,2017年大數(shù)據(jù)技術(shù)和服務(wù)市場(chǎng)將增至324億美元,實(shí)現(xiàn)27%的年復(fù)合增長(zhǎng)率。此外還預(yù)測(cè)基于大數(shù)據(jù)的決策解決方案將開始取代或影響知識(shí)工作者角色,這勢(shì)必引發(fā)人才轉(zhuǎn)型。
面對(duì)大數(shù)據(jù)人才的短缺,各國(guó)如何在培養(yǎng)數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師?《2013中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書》是由中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)歷時(shí)半年多編寫的,其中專門梳理了對(duì)大數(shù)據(jù)人才的培養(yǎng)。
在我國(guó),香港中文大學(xué)從2008年起設(shè)立數(shù)據(jù)科學(xué)商業(yè)統(tǒng)計(jì)科學(xué)碩士學(xué)位;復(fù)旦大學(xué)從2007年起開設(shè)數(shù)據(jù)科學(xué)討論班,2010年開始招收數(shù)據(jù)科學(xué)博士研究生,并從2013年起開設(shè)《數(shù)據(jù)科學(xué)》課程;北京航空航天大學(xué)于2012年設(shè)立大數(shù)據(jù)工程碩士學(xué)位。
在美國(guó),加州大學(xué)伯克利分校從2011年開設(shè)《數(shù)據(jù)科學(xué)導(dǎo)論》;伊利諾伊大學(xué)香檳分校從2011年起舉辦數(shù)據(jù)科學(xué)暑期研究班;哥倫比亞大學(xué)從2013年起開設(shè)《應(yīng)用數(shù)據(jù)科學(xué)》課程,并從2013年起開設(shè)相關(guān)培訓(xùn)項(xiàng)目,還計(jì)劃從2014年起設(shè)立碩士學(xué)位,2015年設(shè)立博士學(xué)位;紐約大學(xué)從2013年秋季起設(shè)立數(shù)據(jù)科學(xué)碩士學(xué)位在英國(guó),鄧迪大學(xué)從2013年起設(shè)立數(shù)據(jù)科學(xué)科學(xué)碩士學(xué)位。
大數(shù)據(jù)專家委員會(huì)認(rèn)為,從目前各國(guó)的人才培養(yǎng)來(lái)看,數(shù)據(jù)科學(xué)家應(yīng)掌握數(shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)分析、商業(yè)分析和自然語(yǔ)言處理等學(xué)科技能,具有較寬的知識(shí)面,具有獨(dú)立獲取知識(shí)的能力。復(fù)旦大學(xué)的課程設(shè)置強(qiáng)調(diào)了數(shù)據(jù)科學(xué)家是研究數(shù)據(jù)的科學(xué)家,而不僅僅是一個(gè)數(shù)據(jù)工程師或者數(shù)據(jù)分析師。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03