
大數(shù)據(jù)的發(fā)展歷程,CDA數(shù)據(jù)分析師總結(jié)如下(資料來(lái)源于各大期刊,網(wǎng)頁(yè),博客等):
2011 年,“大數(shù)據(jù)”與“云計(jì)算”的概念火爆時(shí)下,從“大數(shù)據(jù)創(chuàng)新”—“大數(shù)據(jù)噱頭”—“大數(shù)據(jù)忽悠”—“大數(shù)據(jù)落地”—“大數(shù)據(jù)政策”,可見,一直以來(lái),有人利用大數(shù)據(jù)技術(shù)創(chuàng)造了巨大價(jià)值,而有些人卻運(yùn)用大數(shù)據(jù)概念進(jìn)行了炒作,有些人依然盲目跟風(fēng)。大數(shù)據(jù)究竟是好是壞?國(guó)內(nèi)經(jīng)過(guò)了十來(lái)年年數(shù)據(jù)分析行業(yè)積累,三年大數(shù)據(jù)技術(shù)的探索,隨著各大互聯(lián)網(wǎng)企業(yè)相繼推出大數(shù)據(jù)產(chǎn)品,國(guó)家陸續(xù)制定報(bào)道大數(shù)據(jù)政策并投資建設(shè)大數(shù)據(jù)產(chǎn)業(yè)園,人們的思想和企業(yè)的決策更接地氣,現(xiàn)已基本達(dá)成了共識(shí):大數(shù)據(jù)行業(yè)前路—光明璀璨!
大數(shù)據(jù)發(fā)展史:
1964:哈里·J·格雷和亨利·拉斯頓發(fā)表《應(yīng)對(duì)信息爆炸的技巧》
1971年:亞瑟·米勒《侵犯隱私》
1975年:日本郵電實(shí)施“信息流普查”計(jì)劃
1980年:I·A·特詹姆斯蘭德,IEEE 會(huì)提出“數(shù)據(jù)擴(kuò)展至任何可用空間”
1981年:匈牙利中央統(tǒng)計(jì)辦公室實(shí)施“以比特為單位計(jì)量信息量”
1983年:伊契爾·索勒·普爾發(fā)表《追蹤信息流》
1986年:哈爾·B·貝克發(fā)表《用戶真的能夠以今天或者明天的速度吸收數(shù)據(jù)嗎?》
1997年:美國(guó)計(jì)算機(jī)學(xué)會(huì)的數(shù)字圖書館中《為外存模型可視化而應(yīng)用控制程序請(qǐng)求頁(yè)面調(diào)度》的文章第一次使用“大數(shù)據(jù)”。
1998年:K·G·科夫曼和安德魯·奧德里科發(fā)表《互聯(lián)網(wǎng)的規(guī)模與增長(zhǎng)速度》
1999:《美國(guó)計(jì)算機(jī)協(xié)會(huì)通訊》刊登《千兆字節(jié)數(shù)據(jù)集的實(shí)時(shí)性可視化探索》第一次使用“大數(shù)據(jù)”術(shù)語(yǔ)。
2000年:彼得·萊曼與哈爾·R·瓦里安發(fā)表《信息知多少?》, “數(shù)字統(tǒng)治”。
2001年:道格·萊尼發(fā)布《3D數(shù)據(jù)管理:控制數(shù)據(jù)容量、處理速度及數(shù)據(jù)種類》
2005年:蒂姆·奧萊利在《什么是Web2.0》中指出“數(shù)據(jù)將是下一項(xiàng)技術(shù)核心”
2007年:《膨脹的數(shù)字宇宙:2010年世界信息增長(zhǎng)預(yù)測(cè)》預(yù)測(cè)2010年達(dá)到了1,200EB,2011年增長(zhǎng)到了1,800EB
2008年:預(yù)測(cè)2015年美國(guó)IP流量將達(dá)到1ZB,IP流量將每?jī)赡攴环?/span>”
但這并不是每個(gè)人、每個(gè)企業(yè)都能短期實(shí)現(xiàn)的,想要成為大數(shù)據(jù)分析師,首先要成為接地氣的數(shù)據(jù)分析師。從政府到實(shí)業(yè)到互聯(lián)網(wǎng),數(shù)據(jù)分析現(xiàn)已運(yùn)用于各個(gè)行業(yè)。
(徐剛圖)
2009年:《信息知多少?2009年美國(guó)消費(fèi)者報(bào)告》研究發(fā)現(xiàn),2008年“美國(guó)人消費(fèi)了約1.3萬(wàn)億小時(shí)信息,《信息知多少?2010年企業(yè)服務(wù)器信息報(bào)告》表明世界上所有的公司平均每年處理63TB信息
2010年:肯尼斯·庫(kù)克爾發(fā)表《數(shù)據(jù),無(wú)所不在的數(shù)據(jù)》
2011年:麥肯錫《大數(shù)據(jù):下一個(gè)具有創(chuàng)新力、競(jìng)爭(zhēng)力與生產(chǎn)力的前沿領(lǐng)域》,大數(shù)據(jù)從此引爆
2011年:,工信部發(fā)布的物聯(lián)網(wǎng)十二五規(guī)劃上,把信息處理技術(shù)作為4 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái),其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析,這都是大數(shù)據(jù)的重要組成部分。
2012年:維克托·舍恩伯格《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》風(fēng)靡全球
2012年:瑞士達(dá)沃斯召開的世界經(jīng)濟(jì)論壇上,大數(shù)據(jù)是主題之一,會(huì)上發(fā)布的報(bào)告《大數(shù)據(jù),大影響》(Big Data, Big Impact)
2012年3月:美國(guó)奧巴馬政府在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》
2012年4月:美國(guó)軟件公司Splunk于19日在納斯達(dá)克成功上市,成為第一家上市的大數(shù)據(jù)處理公司
2012年7月:聯(lián)合國(guó)在紐約發(fā)布了一份關(guān)于大數(shù)據(jù)政務(wù)的白皮書,總結(jié)了各國(guó)政府如何利用大數(shù)據(jù)更好地服務(wù)和保護(hù)人民
2013年:我國(guó)“大數(shù)據(jù)元年”誕生
2014年:我國(guó)首個(gè)大數(shù)據(jù)交易行業(yè)規(guī)范—《中關(guān)村數(shù)海大數(shù)據(jù)交易平臺(tái)規(guī)則》出臺(tái)。
2014年4月:世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”主題發(fā)布了《全球信息技術(shù)報(bào)告(第13版)》
2014年5月:美國(guó)白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書的研究報(bào)告《大數(shù)據(jù):抓住機(jī)遇、守護(hù)價(jià)值》
什么是大數(shù)據(jù):
大數(shù)據(jù)(big data)是這樣的數(shù)據(jù)集合:數(shù)據(jù)量增長(zhǎng)速度極快,用常規(guī)的數(shù)據(jù)工具無(wú)法在一定的時(shí)間內(nèi)進(jìn)行采集、處理、存儲(chǔ)和計(jì)算的數(shù)據(jù)集合。
作者認(rèn)為具有以下五大特征(4V+1O)的數(shù)據(jù)才稱之為大數(shù)據(jù),即:
數(shù)據(jù)量大(Volume)。第一個(gè)特征是數(shù)據(jù)量大,包括采集、存儲(chǔ)和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位至少是P(1000個(gè)T)、E(100萬(wàn)個(gè)T)或Z(10億個(gè)T)。0
類型繁多(Variety)。第二個(gè)特征是種類和來(lái)源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等,多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。
價(jià)值密度低(Value)。第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低,或者說(shuō)是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用,信息感知無(wú)處不在,信息海量,但價(jià)值密度較低,如何結(jié)合業(yè)務(wù)邏輯并通過(guò)強(qiáng)大的機(jī)器算法來(lái)挖掘數(shù)據(jù)價(jià)值,是大數(shù)據(jù)時(shí)代最需要解決的問(wèn)題。
速度快時(shí)效高(Velocity)。第四個(gè)特征數(shù)據(jù)增長(zhǎng)速度快,處理速度也快,時(shí)效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到,個(gè)性化推薦算法盡可能要求實(shí)時(shí)完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。
數(shù)據(jù)是在線的(Online)。數(shù)據(jù)是永遠(yuǎn)在線的,是隨時(shí)能調(diào)用和計(jì)算的,這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)最大的特征?,F(xiàn)在我們所談到的大數(shù)據(jù)不僅僅是大,更重要的是數(shù)據(jù)變的在線了,這是互聯(lián)網(wǎng)高速發(fā)展背景下的特點(diǎn)。比如,對(duì)于打車工具,客戶的數(shù)據(jù)和出租司機(jī)數(shù)據(jù)都是實(shí)時(shí)在線的,這樣的數(shù)據(jù)才有意義。如果是放在磁盤中而且是離線的,這些數(shù)據(jù)遠(yuǎn)遠(yuǎn)不如在線的商業(yè)價(jià)值大。
關(guān)于大數(shù)據(jù)特征方面,特別要強(qiáng)調(diào)的一點(diǎn)是數(shù)據(jù)是在線的,因?yàn)楹芏嗳苏J(rèn)為數(shù)據(jù)量大就是大數(shù)據(jù),往往忽略了大數(shù)據(jù)的在線特性。數(shù)據(jù)只有在線,即數(shù)據(jù)在與產(chǎn)品用戶或者客戶產(chǎn)生連接的時(shí)候才有意義。如某用戶在使用某互聯(lián)網(wǎng)應(yīng)用時(shí),其行為及時(shí)的傳給數(shù)據(jù)使用方,數(shù)據(jù)使用方通過(guò)某種有效加工后(通過(guò)數(shù)據(jù)分析或者數(shù)據(jù)挖掘進(jìn)行加工),進(jìn)行該應(yīng)用的推送內(nèi)容的優(yōu)化,把用戶最想看到的內(nèi)容推送給用戶,也提升了用戶的使用體驗(yàn)。
大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展
大數(shù)據(jù)技術(shù)是一種新一代技術(shù)和構(gòu)架,它以成本較低、以快速的采集、處理和分析技術(shù),從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值。大數(shù)據(jù)技術(shù)不斷涌現(xiàn)和發(fā)展,讓我們處理海量數(shù)據(jù)更加容易、更加便宜和迅速,成為利用數(shù)據(jù)的好助手,甚至可以改變?cè)S多行業(yè)的商業(yè)模式,大數(shù)據(jù)技術(shù)的發(fā)展可以分為六大方向:
(1)在大數(shù)據(jù)采集與預(yù)處理方向。這方向最常見的問(wèn)題是數(shù)據(jù)的多源和多樣性,導(dǎo)致數(shù)據(jù)的質(zhì)量存在差異,嚴(yán)重影響到數(shù)據(jù)的可用性。針對(duì)這些問(wèn)題,目前很多公司已經(jīng)推出了多種數(shù)據(jù)清洗和質(zhì)量控制工具(如IBM的Data Stage)。
(2)在大數(shù)據(jù)存儲(chǔ)與管理方向。這方向最常見的挑戰(zhàn)是存儲(chǔ)規(guī)模大,存儲(chǔ)管理復(fù)雜,需要兼顧結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)相關(guān)技術(shù)的發(fā)展正在有效的解決這些方面的問(wèn)題。在大數(shù)據(jù)存儲(chǔ)和管理方向,尤其值得我們關(guān)注的是大數(shù)據(jù)索引和查詢技術(shù)、實(shí)時(shí)及流式大數(shù)據(jù)存儲(chǔ)與處理的發(fā)展。
(3)大數(shù)據(jù)計(jì)算模式方向。由于大數(shù)據(jù)處理多樣性的需求,目前出現(xiàn)了多種典型的計(jì)算模式,包括大數(shù)據(jù)查詢分析計(jì)算(如Hive)、批處理計(jì)算(如Hadoop MapReduce)、流式計(jì)算(如Storm)、迭代計(jì)算(如HaLoop)、圖計(jì)算(如Pregel)和內(nèi)存計(jì)算(如Hana),而這些計(jì)算模式的混合計(jì)算模式將成為滿足多樣性大數(shù)據(jù)處理和應(yīng)用需求的有效手段。
(4)大數(shù)據(jù)分析與挖掘方向。在數(shù)據(jù)量迅速膨脹的同時(shí),還要進(jìn)行深度的數(shù)據(jù)深度分析和挖掘,并且對(duì)自動(dòng)化分析要求越來(lái)越高,越來(lái)越多的大數(shù)據(jù)數(shù)據(jù)分析工具和產(chǎn)品應(yīng)運(yùn)而生,如用于大數(shù)據(jù)挖掘的R Hadoop版、基于MapReduce開發(fā)的數(shù)據(jù)挖掘算法等等。
(5)大數(shù)據(jù)可視化分析方向。通過(guò)可視化方式來(lái)幫助人們探索和解釋復(fù)雜的數(shù)據(jù),有利于決策者挖掘數(shù)據(jù)的商業(yè)價(jià)值,進(jìn)而有助于大數(shù)據(jù)的發(fā)展。很多公司也在開展相應(yīng)的研究,試圖把可視化引入其不同的數(shù)據(jù)分析和展示的產(chǎn)品中,各種可能相關(guān)的商品也將會(huì)不斷出現(xiàn)??梢暬ぞ逿abealu 的成功上市反映了大數(shù)據(jù)可視化的需求。
(6)大數(shù)據(jù)安全方向。當(dāng)我們?cè)谟么髷?shù)據(jù)分析和數(shù)據(jù)挖掘獲取商業(yè)價(jià)值的時(shí)候,黑客很可能在向我們攻擊,收集有用的信息。因此,大數(shù)據(jù)的安全一直是企業(yè)和學(xué)術(shù)界非常關(guān)注的研究方向。通過(guò)文件訪問(wèn)控制來(lái)限制呈現(xiàn)對(duì)數(shù)據(jù)的操作、基礎(chǔ)設(shè)備加密、匿名化保護(hù)技術(shù)和加密保護(hù)等技術(shù)正在最大程度的保護(hù)數(shù)據(jù)安全。
互聯(lián)網(wǎng)的發(fā)展是大數(shù)據(jù)發(fā)展的最大驅(qū)動(dòng)力0
截至 2014 年 6月,我國(guó)網(wǎng)民規(guī)模達(dá) 6.32億,較 2013年底增加1442 萬(wàn)人,互聯(lián)網(wǎng)普及 46.9%,即接近一半的中國(guó)人在使用互聯(lián)網(wǎng)?;ヂ?lián)網(wǎng)的增長(zhǎng)速度超越了很多人的預(yù)期:4年前即2010年6月,互聯(lián)網(wǎng)普及率為31.8%,而僅經(jīng)歷了四年,互聯(lián)網(wǎng)的普及率增加了超過(guò)15%。
更為重要的是,CNNIC的數(shù)據(jù)還顯示,截至2014年6月,我國(guó)網(wǎng)民上網(wǎng)設(shè)備中,手機(jī)使用率達(dá)83.4%,首次超越傳統(tǒng)PC整體使用率(80.9%),手機(jī)作為第一大上網(wǎng)終端設(shè)備的地位更加鞏固,手機(jī)使得上網(wǎng)變得更加隨時(shí)隨地,手機(jī)上網(wǎng)更加滲透到人們的日常工作和生活中。
因此,互聯(lián)網(wǎng)普及使得網(wǎng)民的行為更加多元化,通過(guò)互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)發(fā)展更加迅猛,更具代表性。互聯(lián)網(wǎng)世界中的商品信息、社交媒體中的圖片、文本信息以及視頻網(wǎng)站的視頻信息,互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等,都已經(jīng)成為大數(shù)據(jù)的最重要也是增長(zhǎng)最快的來(lái)源。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03