
大數(shù)據(jù)的發(fā)展歷程,CDA數(shù)據(jù)分析師總結(jié)如下(資料來(lái)源于各大期刊,網(wǎng)頁(yè),博客等):
2011 年,“大數(shù)據(jù)”與“云計(jì)算”的概念火爆時(shí)下,從“大數(shù)據(jù)創(chuàng)新”—“大數(shù)據(jù)噱頭”—“大數(shù)據(jù)忽悠”—“大數(shù)據(jù)落地”—“大數(shù)據(jù)政策”,可見(jiàn),一直以來(lái),有人利用大數(shù)據(jù)技術(shù)創(chuàng)造了巨大價(jià)值,而有些人卻運(yùn)用大數(shù)據(jù)概念進(jìn)行了炒作,有些人依然盲目跟風(fēng)。大數(shù)據(jù)究竟是好是壞?國(guó)內(nèi)經(jīng)過(guò)了十來(lái)年年數(shù)據(jù)分析行業(yè)積累,三年大數(shù)據(jù)技術(shù)的探索,隨著各大互聯(lián)網(wǎng)企業(yè)相繼推出大數(shù)據(jù)產(chǎn)品,國(guó)家陸續(xù)制定報(bào)道大數(shù)據(jù)政策并投資建設(shè)大數(shù)據(jù)產(chǎn)業(yè)園,人們的思想和企業(yè)的決策更接地氣,現(xiàn)已基本達(dá)成了共識(shí):大數(shù)據(jù)行業(yè)前路—光明璀璨!
大數(shù)據(jù)發(fā)展史:
1964:哈里·J·格雷和亨利·拉斯頓發(fā)表《應(yīng)對(duì)信息爆炸的技巧》
1971年:亞瑟·米勒《侵犯隱私》
1975年:日本郵電實(shí)施“信息流普查”計(jì)劃
1980年:I·A·特詹姆斯蘭德,IEEE 會(huì)提出“數(shù)據(jù)擴(kuò)展至任何可用空間”
1981年:匈牙利中央統(tǒng)計(jì)辦公室實(shí)施“以比特為單位計(jì)量信息量”
1983年:伊契爾·索勒·普爾發(fā)表《追蹤信息流》
1986年:哈爾·B·貝克發(fā)表《用戶真的能夠以今天或者明天的速度吸收數(shù)據(jù)嗎?》
1997年:美國(guó)計(jì)算機(jī)學(xué)會(huì)的數(shù)字圖書(shū)館中《為外存模型可視化而應(yīng)用控制程序請(qǐng)求頁(yè)面調(diào)度》的文章第一次使用“大數(shù)據(jù)”。
1998年:K·G·科夫曼和安德魯·奧德里科發(fā)表《互聯(lián)網(wǎng)的規(guī)模與增長(zhǎng)速度》
1999:《美國(guó)計(jì)算機(jī)協(xié)會(huì)通訊》刊登《千兆字節(jié)數(shù)據(jù)集的實(shí)時(shí)性可視化探索》第一次使用“大數(shù)據(jù)”術(shù)語(yǔ)。
2000年:彼得·萊曼與哈爾·R·瓦里安發(fā)表《信息知多少?》, “數(shù)字統(tǒng)治”。
2001年:道格·萊尼發(fā)布《3D數(shù)據(jù)管理:控制數(shù)據(jù)容量、處理速度及數(shù)據(jù)種類》
2005年:蒂姆·奧萊利在《什么是Web2.0》中指出“數(shù)據(jù)將是下一項(xiàng)技術(shù)核心”
2007年:《膨脹的數(shù)字宇宙:2010年世界信息增長(zhǎng)預(yù)測(cè)》預(yù)測(cè)2010年達(dá)到了1,200EB,2011年增長(zhǎng)到了1,800EB
2008年:預(yù)測(cè)2015年美國(guó)IP流量將達(dá)到1ZB,IP流量將每?jī)赡攴环?/span>”
但這并不是每個(gè)人、每個(gè)企業(yè)都能短期實(shí)現(xiàn)的,想要成為大數(shù)據(jù)分析師,首先要成為接地氣的數(shù)據(jù)分析師。從政府到實(shí)業(yè)到互聯(lián)網(wǎng),數(shù)據(jù)分析現(xiàn)已運(yùn)用于各個(gè)行業(yè)。
(徐剛圖)
2009年:《信息知多少?2009年美國(guó)消費(fèi)者報(bào)告》研究發(fā)現(xiàn),2008年“美國(guó)人消費(fèi)了約1.3萬(wàn)億小時(shí)信息,《信息知多少?2010年企業(yè)服務(wù)器信息報(bào)告》表明世界上所有的公司平均每年處理63TB信息
2010年:肯尼斯·庫(kù)克爾發(fā)表《數(shù)據(jù),無(wú)所不在的數(shù)據(jù)》
2011年:麥肯錫《大數(shù)據(jù):下一個(gè)具有創(chuàng)新力、競(jìng)爭(zhēng)力與生產(chǎn)力的前沿領(lǐng)域》,大數(shù)據(jù)從此引爆
2011年:,工信部發(fā)布的物聯(lián)網(wǎng)十二五規(guī)劃上,把信息處理技術(shù)作為4 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái),其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析,這都是大數(shù)據(jù)的重要組成部分。
2012年:維克托·舍恩伯格《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》風(fēng)靡全球
2012年:瑞士達(dá)沃斯召開(kāi)的世界經(jīng)濟(jì)論壇上,大數(shù)據(jù)是主題之一,會(huì)上發(fā)布的報(bào)告《大數(shù)據(jù),大影響》(Big Data, Big Impact)
2012年3月:美國(guó)奧巴馬政府在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》
2012年4月:美國(guó)軟件公司Splunk于19日在納斯達(dá)克成功上市,成為第一家上市的大數(shù)據(jù)處理公司
2012年7月:聯(lián)合國(guó)在紐約發(fā)布了一份關(guān)于大數(shù)據(jù)政務(wù)的白皮書(shū),總結(jié)了各國(guó)政府如何利用大數(shù)據(jù)更好地服務(wù)和保護(hù)人民
2013年:我國(guó)“大數(shù)據(jù)元年”誕生
2014年:我國(guó)首個(gè)大數(shù)據(jù)交易行業(yè)規(guī)范—《中關(guān)村數(shù)海大數(shù)據(jù)交易平臺(tái)規(guī)則》出臺(tái)。
2014年4月:世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”主題發(fā)布了《全球信息技術(shù)報(bào)告(第13版)》
2014年5月:美國(guó)白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書(shū)的研究報(bào)告《大數(shù)據(jù):抓住機(jī)遇、守護(hù)價(jià)值》
什么是大數(shù)據(jù):
大數(shù)據(jù)(big data)是這樣的數(shù)據(jù)集合:數(shù)據(jù)量增長(zhǎng)速度極快,用常規(guī)的數(shù)據(jù)工具無(wú)法在一定的時(shí)間內(nèi)進(jìn)行采集、處理、存儲(chǔ)和計(jì)算的數(shù)據(jù)集合。
作者認(rèn)為具有以下五大特征(4V+1O)的數(shù)據(jù)才稱之為大數(shù)據(jù),即:
數(shù)據(jù)量大(Volume)。第一個(gè)特征是數(shù)據(jù)量大,包括采集、存儲(chǔ)和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位至少是P(1000個(gè)T)、E(100萬(wàn)個(gè)T)或Z(10億個(gè)T)。0
類型繁多(Variety)。第二個(gè)特征是種類和來(lái)源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等,多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。
價(jià)值密度低(Value)。第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低,或者說(shuō)是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用,信息感知無(wú)處不在,信息海量,但價(jià)值密度較低,如何結(jié)合業(yè)務(wù)邏輯并通過(guò)強(qiáng)大的機(jī)器算法來(lái)挖掘數(shù)據(jù)價(jià)值,是大數(shù)據(jù)時(shí)代最需要解決的問(wèn)題。
速度快時(shí)效高(Velocity)。第四個(gè)特征數(shù)據(jù)增長(zhǎng)速度快,處理速度也快,時(shí)效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到,個(gè)性化推薦算法盡可能要求實(shí)時(shí)完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。
數(shù)據(jù)是在線的(Online)。數(shù)據(jù)是永遠(yuǎn)在線的,是隨時(shí)能調(diào)用和計(jì)算的,這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)最大的特征。現(xiàn)在我們所談到的大數(shù)據(jù)不僅僅是大,更重要的是數(shù)據(jù)變的在線了,這是互聯(lián)網(wǎng)高速發(fā)展背景下的特點(diǎn)。比如,對(duì)于打車工具,客戶的數(shù)據(jù)和出租司機(jī)數(shù)據(jù)都是實(shí)時(shí)在線的,這樣的數(shù)據(jù)才有意義。如果是放在磁盤(pán)中而且是離線的,這些數(shù)據(jù)遠(yuǎn)遠(yuǎn)不如在線的商業(yè)價(jià)值大。
關(guān)于大數(shù)據(jù)特征方面,特別要強(qiáng)調(diào)的一點(diǎn)是數(shù)據(jù)是在線的,因?yàn)楹芏嗳苏J(rèn)為數(shù)據(jù)量大就是大數(shù)據(jù),往往忽略了大數(shù)據(jù)的在線特性。數(shù)據(jù)只有在線,即數(shù)據(jù)在與產(chǎn)品用戶或者客戶產(chǎn)生連接的時(shí)候才有意義。如某用戶在使用某互聯(lián)網(wǎng)應(yīng)用時(shí),其行為及時(shí)的傳給數(shù)據(jù)使用方,數(shù)據(jù)使用方通過(guò)某種有效加工后(通過(guò)數(shù)據(jù)分析或者數(shù)據(jù)挖掘進(jìn)行加工),進(jìn)行該應(yīng)用的推送內(nèi)容的優(yōu)化,把用戶最想看到的內(nèi)容推送給用戶,也提升了用戶的使用體驗(yàn)。
大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展
大數(shù)據(jù)技術(shù)是一種新一代技術(shù)和構(gòu)架,它以成本較低、以快速的采集、處理和分析技術(shù),從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值。大數(shù)據(jù)技術(shù)不斷涌現(xiàn)和發(fā)展,讓我們處理海量數(shù)據(jù)更加容易、更加便宜和迅速,成為利用數(shù)據(jù)的好助手,甚至可以改變?cè)S多行業(yè)的商業(yè)模式,大數(shù)據(jù)技術(shù)的發(fā)展可以分為六大方向:
(1)在大數(shù)據(jù)采集與預(yù)處理方向。這方向最常見(jiàn)的問(wèn)題是數(shù)據(jù)的多源和多樣性,導(dǎo)致數(shù)據(jù)的質(zhì)量存在差異,嚴(yán)重影響到數(shù)據(jù)的可用性。針對(duì)這些問(wèn)題,目前很多公司已經(jīng)推出了多種數(shù)據(jù)清洗和質(zhì)量控制工具(如IBM的Data Stage)。
(2)在大數(shù)據(jù)存儲(chǔ)與管理方向。這方向最常見(jiàn)的挑戰(zhàn)是存儲(chǔ)規(guī)模大,存儲(chǔ)管理復(fù)雜,需要兼顧結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)相關(guān)技術(shù)的發(fā)展正在有效的解決這些方面的問(wèn)題。在大數(shù)據(jù)存儲(chǔ)和管理方向,尤其值得我們關(guān)注的是大數(shù)據(jù)索引和查詢技術(shù)、實(shí)時(shí)及流式大數(shù)據(jù)存儲(chǔ)與處理的發(fā)展。
(3)大數(shù)據(jù)計(jì)算模式方向。由于大數(shù)據(jù)處理多樣性的需求,目前出現(xiàn)了多種典型的計(jì)算模式,包括大數(shù)據(jù)查詢分析計(jì)算(如Hive)、批處理計(jì)算(如Hadoop MapReduce)、流式計(jì)算(如Storm)、迭代計(jì)算(如HaLoop)、圖計(jì)算(如Pregel)和內(nèi)存計(jì)算(如Hana),而這些計(jì)算模式的混合計(jì)算模式將成為滿足多樣性大數(shù)據(jù)處理和應(yīng)用需求的有效手段。
(4)大數(shù)據(jù)分析與挖掘方向。在數(shù)據(jù)量迅速膨脹的同時(shí),還要進(jìn)行深度的數(shù)據(jù)深度分析和挖掘,并且對(duì)自動(dòng)化分析要求越來(lái)越高,越來(lái)越多的大數(shù)據(jù)數(shù)據(jù)分析工具和產(chǎn)品應(yīng)運(yùn)而生,如用于大數(shù)據(jù)挖掘的R Hadoop版、基于MapReduce開(kāi)發(fā)的數(shù)據(jù)挖掘算法等等。
(5)大數(shù)據(jù)可視化分析方向。通過(guò)可視化方式來(lái)幫助人們探索和解釋復(fù)雜的數(shù)據(jù),有利于決策者挖掘數(shù)據(jù)的商業(yè)價(jià)值,進(jìn)而有助于大數(shù)據(jù)的發(fā)展。很多公司也在開(kāi)展相應(yīng)的研究,試圖把可視化引入其不同的數(shù)據(jù)分析和展示的產(chǎn)品中,各種可能相關(guān)的商品也將會(huì)不斷出現(xiàn)??梢暬ぞ逿abealu 的成功上市反映了大數(shù)據(jù)可視化的需求。
(6)大數(shù)據(jù)安全方向。當(dāng)我們?cè)谟么髷?shù)據(jù)分析和數(shù)據(jù)挖掘獲取商業(yè)價(jià)值的時(shí)候,黑客很可能在向我們攻擊,收集有用的信息。因此,大數(shù)據(jù)的安全一直是企業(yè)和學(xué)術(shù)界非常關(guān)注的研究方向。通過(guò)文件訪問(wèn)控制來(lái)限制呈現(xiàn)對(duì)數(shù)據(jù)的操作、基礎(chǔ)設(shè)備加密、匿名化保護(hù)技術(shù)和加密保護(hù)等技術(shù)正在最大程度的保護(hù)數(shù)據(jù)安全。
互聯(lián)網(wǎng)的發(fā)展是大數(shù)據(jù)發(fā)展的最大驅(qū)動(dòng)力0
截至 2014 年 6月,我國(guó)網(wǎng)民規(guī)模達(dá) 6.32億,較 2013年底增加1442 萬(wàn)人,互聯(lián)網(wǎng)普及 46.9%,即接近一半的中國(guó)人在使用互聯(lián)網(wǎng)?;ヂ?lián)網(wǎng)的增長(zhǎng)速度超越了很多人的預(yù)期:4年前即2010年6月,互聯(lián)網(wǎng)普及率為31.8%,而僅經(jīng)歷了四年,互聯(lián)網(wǎng)的普及率增加了超過(guò)15%。
更為重要的是,CNNIC的數(shù)據(jù)還顯示,截至2014年6月,我國(guó)網(wǎng)民上網(wǎng)設(shè)備中,手機(jī)使用率達(dá)83.4%,首次超越傳統(tǒng)PC整體使用率(80.9%),手機(jī)作為第一大上網(wǎng)終端設(shè)備的地位更加鞏固,手機(jī)使得上網(wǎng)變得更加隨時(shí)隨地,手機(jī)上網(wǎng)更加滲透到人們的日常工作和生活中。
因此,互聯(lián)網(wǎng)普及使得網(wǎng)民的行為更加多元化,通過(guò)互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)發(fā)展更加迅猛,更具代表性?;ヂ?lián)網(wǎng)世界中的商品信息、社交媒體中的圖片、文本信息以及視頻網(wǎng)站的視頻信息,互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等,都已經(jīng)成為大數(shù)據(jù)的最重要也是增長(zhǎng)最快的來(lái)源。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10