99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁(yè)精彩閱讀大數(shù)據(jù)發(fā)展歷程,大數(shù)據(jù)的前世今生
大數(shù)據(jù)發(fā)展歷程,大數(shù)據(jù)的前世今生
2014-12-23
收藏

大數(shù)據(jù)的發(fā)展歷程,CDA數(shù)據(jù)分析師總結(jié)如下(資料來(lái)源于各大期刊,網(wǎng)頁(yè),博客等):


2011 年,“大數(shù)據(jù)”與“云計(jì)算”的概念火爆時(shí)下,從“大數(shù)據(jù)創(chuàng)新”—“大數(shù)據(jù)噱頭”—“大數(shù)據(jù)忽悠”—“大數(shù)據(jù)落地”—“大數(shù)據(jù)政策”,可見,一直以來(lái),有人利用大數(shù)據(jù)技術(shù)創(chuàng)造了巨大價(jià)值,而有些人卻運(yùn)用大數(shù)據(jù)概念進(jìn)行了炒作,有些人依然盲目跟風(fēng)。大數(shù)據(jù)究竟是好是壞?國(guó)內(nèi)經(jīng)過(guò)了十來(lái)年年數(shù)據(jù)分析行業(yè)積累,三年大數(shù)據(jù)技術(shù)的探索,隨著各大互聯(lián)網(wǎng)企業(yè)相繼推出大數(shù)據(jù)產(chǎn)品,國(guó)家陸續(xù)制定報(bào)道大數(shù)據(jù)政策并投資建設(shè)大數(shù)據(jù)產(chǎn)業(yè)園,人們的思想和企業(yè)的決策更接地氣,現(xiàn)已基本達(dá)成了共識(shí):大數(shù)據(jù)行業(yè)前路—光明璀璨!

 大數(shù)據(jù)發(fā)展史:

1964:哈里·J·格雷和亨利·拉斯頓發(fā)表《應(yīng)對(duì)信息爆炸的技巧》

1971:亞瑟·米勒《侵犯隱私》

1975:日本郵電實(shí)施信息流普查計(jì)劃

1980:I·A·特詹姆斯蘭德,IEEE 會(huì)提出“數(shù)據(jù)擴(kuò)展至任何可用空間”

1981:匈牙利中央統(tǒng)計(jì)辦公室實(shí)施“以比特為單位計(jì)量信息量

1983:伊契爾·索勒·普爾發(fā)表《追蹤信息流》

1986:哈爾·B·貝克發(fā)表《用戶真的能夠以今天或者明天的速度吸收數(shù)據(jù)嗎?》

1997:美國(guó)計(jì)算機(jī)學(xué)會(huì)的數(shù)字圖書館中《為外存模型可視化而應(yīng)用控制程序請(qǐng)求頁(yè)面調(diào)度》的文章第一次使用大數(shù)據(jù)。

1998:K·G·科夫曼和安德魯·奧德里科發(fā)表《互聯(lián)網(wǎng)的規(guī)模與增長(zhǎng)速度》

1999:《美國(guó)計(jì)算機(jī)協(xié)會(huì)通訊》刊登《千兆字節(jié)數(shù)據(jù)集的實(shí)時(shí)性可視化探索》第一次使用“大數(shù)據(jù)”術(shù)語(yǔ)。

2000:彼得·萊曼與哈爾·R·瓦里安發(fā)表《信息知多少?》, “數(shù)字統(tǒng)治”。

2001:道格·萊尼發(fā)布《3D數(shù)據(jù)管理:控制數(shù)據(jù)容量、處理速度及數(shù)據(jù)種類》

2005:蒂姆·奧萊利在《什么是Web2.0中指出數(shù)據(jù)將是下一項(xiàng)技術(shù)核心

2007:《膨脹的數(shù)字宇宙:2010年世界信息增長(zhǎng)預(yù)測(cè)》預(yù)測(cè)2010年達(dá)到了1,200EB,2011年增長(zhǎng)到了1,800EB

2008年:預(yù)測(cè)2015年美國(guó)IP流量將達(dá)到1ZB,IP流量將每?jī)赡攴环?/span>

但這并不是每個(gè)人、每個(gè)企業(yè)都能短期實(shí)現(xiàn)的,想要成為大數(shù)據(jù)分析師,首先要成為接地氣的數(shù)據(jù)分析師。從政府到實(shí)業(yè)到互聯(lián)網(wǎng),數(shù)據(jù)分析現(xiàn)已運(yùn)用于各個(gè)行業(yè)。

(徐剛圖)

2009:《信息知多少?2009年美國(guó)消費(fèi)者報(bào)告》研究發(fā)現(xiàn),2008美國(guó)人消費(fèi)了約1.3萬(wàn)億小時(shí)信息,《信息知多少?2010年企業(yè)服務(wù)器信息報(bào)告》表明世界上所有的公司平均每年處理63TB信息

2010:肯尼斯·庫(kù)克爾發(fā)表《數(shù)據(jù),無(wú)所不在的數(shù)據(jù)》

2011:麥肯錫《大數(shù)據(jù):下一個(gè)具有創(chuàng)新力、競(jìng)爭(zhēng)力與生產(chǎn)力的前沿領(lǐng)域》,大數(shù)據(jù)從此引爆

2011年:,工信部發(fā)布的物聯(lián)網(wǎng)十二五規(guī)劃上,把信息處理技術(shù)作為4 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái),其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析,這都是大數(shù)據(jù)的重要組成部分。

2012:維克托·舍恩伯格《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》風(fēng)靡全球

2012年:瑞士達(dá)沃斯召開的世界經(jīng)濟(jì)論壇上,大數(shù)據(jù)是主題之一,會(huì)上發(fā)布的報(bào)告《大數(shù)據(jù),大影響》(Big Data, Big Impact) 

2012年3月:美國(guó)奧巴馬政府在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》

2012年4月:美國(guó)軟件公司Splunk于19日在納斯達(dá)克成功上市,成為第一家上市的大數(shù)據(jù)處理公司

2012年7月:聯(lián)合國(guó)在紐約發(fā)布了一份關(guān)于大數(shù)據(jù)政務(wù)的白皮書,總結(jié)了各國(guó)政府如何利用大數(shù)據(jù)更好地服務(wù)和保護(hù)人民

2013年:我國(guó)“大數(shù)據(jù)元年”誕生

2014年:我國(guó)首個(gè)大數(shù)據(jù)交易行業(yè)規(guī)范《中關(guān)村數(shù)海大數(shù)據(jù)交易平臺(tái)規(guī)則》出臺(tái)。

2014年4月:世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”主題發(fā)布了《全球信息技術(shù)報(bào)告(第13版)》


2014年5月:美國(guó)白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書的研究報(bào)告《大數(shù)據(jù):抓住機(jī)遇、守護(hù)價(jià)值》


什么是大數(shù)據(jù):


大數(shù)據(jù)(big data)是這樣的數(shù)據(jù)集合:數(shù)據(jù)量增長(zhǎng)速度極快,用常規(guī)的數(shù)據(jù)工具無(wú)法在一定的時(shí)間內(nèi)進(jìn)行采集、處理、存儲(chǔ)和計(jì)算的數(shù)據(jù)集合。

作者認(rèn)為具有以下五大特征(4V+1O)的數(shù)據(jù)才稱之為大數(shù)據(jù),即:                         

數(shù)據(jù)量大(Volume)。第一個(gè)特征是數(shù)據(jù)量大,包括采集、存儲(chǔ)和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位至少是P(1000個(gè)T)、E(100萬(wàn)個(gè)T)或Z(10億個(gè)T)。0

類型繁多(Variety)。第二個(gè)特征是種類和來(lái)源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等,多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。

價(jià)值密度低(Value)。第三個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低,或者說(shuō)是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用,信息感知無(wú)處不在,信息海量,但價(jià)值密度較低,如何結(jié)合業(yè)務(wù)邏輯并通過(guò)強(qiáng)大的機(jī)器算法來(lái)挖掘數(shù)據(jù)價(jià)值,是大數(shù)據(jù)時(shí)代最需要解決的問(wèn)題。

速度快時(shí)效高(Velocity)。第四個(gè)特征數(shù)據(jù)增長(zhǎng)速度快,處理速度也快,時(shí)效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到,個(gè)性化推薦算法盡可能要求實(shí)時(shí)完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。

數(shù)據(jù)是在線的(Online)。數(shù)據(jù)是永遠(yuǎn)在線的,是隨時(shí)能調(diào)用和計(jì)算的,這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)最大的特征?,F(xiàn)在我們所談到的大數(shù)據(jù)不僅僅是大,更重要的是數(shù)據(jù)變的在線了,這是互聯(lián)網(wǎng)高速發(fā)展背景下的特點(diǎn)。比如,對(duì)于打車工具,客戶的數(shù)據(jù)和出租司機(jī)數(shù)據(jù)都是實(shí)時(shí)在線的,這樣的數(shù)據(jù)才有意義。如果是放在磁盤中而且是離線的,這些數(shù)據(jù)遠(yuǎn)遠(yuǎn)不如在線的商業(yè)價(jià)值大。

關(guān)于大數(shù)據(jù)特征方面,特別要強(qiáng)調(diào)的一點(diǎn)是數(shù)據(jù)是在線的,因?yàn)楹芏嗳苏J(rèn)為數(shù)據(jù)量大就是大數(shù)據(jù),往往忽略了大數(shù)據(jù)的在線特性。數(shù)據(jù)只有在線,即數(shù)據(jù)在與產(chǎn)品用戶或者客戶產(chǎn)生連接的時(shí)候才有意義。如某用戶在使用某互聯(lián)網(wǎng)應(yīng)用時(shí),其行為及時(shí)的傳給數(shù)據(jù)使用方,數(shù)據(jù)使用方通過(guò)某種有效加工后(通過(guò)數(shù)據(jù)分析或者數(shù)據(jù)挖掘進(jìn)行加工),進(jìn)行該應(yīng)用的推送內(nèi)容的優(yōu)化,把用戶最想看到的內(nèi)容推送給用戶,也提升了用戶的使用體驗(yàn)。

大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展

大數(shù)據(jù)技術(shù)是一種新一代技術(shù)和構(gòu)架,它以成本較低、以快速的采集、處理和分析技術(shù),從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值。大數(shù)據(jù)技術(shù)不斷涌現(xiàn)和發(fā)展,讓我們處理海量數(shù)據(jù)更加容易、更加便宜和迅速,成為利用數(shù)據(jù)的好助手,甚至可以改變?cè)S多行業(yè)的商業(yè)模式,大數(shù)據(jù)技術(shù)的發(fā)展可以分為六大方向:

(1)在大數(shù)據(jù)采集與預(yù)處理方向。這方向最常見的問(wèn)題是數(shù)據(jù)的多源和多樣性,導(dǎo)致數(shù)據(jù)的質(zhì)量存在差異,嚴(yán)重影響到數(shù)據(jù)的可用性。針對(duì)這些問(wèn)題,目前很多公司已經(jīng)推出了多種數(shù)據(jù)清洗和質(zhì)量控制工具(如IBM的Data Stage)。

(2)在大數(shù)據(jù)存儲(chǔ)與管理方向。這方向最常見的挑戰(zhàn)是存儲(chǔ)規(guī)模大,存儲(chǔ)管理復(fù)雜,需要兼顧結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)相關(guān)技術(shù)的發(fā)展正在有效的解決這些方面的問(wèn)題。在大數(shù)據(jù)存儲(chǔ)和管理方向,尤其值得我們關(guān)注的是大數(shù)據(jù)索引和查詢技術(shù)、實(shí)時(shí)及流式大數(shù)據(jù)存儲(chǔ)與處理的發(fā)展。

(3)大數(shù)據(jù)計(jì)算模式方向。由于大數(shù)據(jù)處理多樣性的需求,目前出現(xiàn)了多種典型的計(jì)算模式,包括大數(shù)據(jù)查詢分析計(jì)算(如Hive)、批處理計(jì)算(如Hadoop MapReduce)、流式計(jì)算(如Storm)、迭代計(jì)算(如HaLoop)、圖計(jì)算(如Pregel)和內(nèi)存計(jì)算(如Hana),而這些計(jì)算模式的混合計(jì)算模式將成為滿足多樣性大數(shù)據(jù)處理和應(yīng)用需求的有效手段。

(4)大數(shù)據(jù)分析與挖掘方向。在數(shù)據(jù)量迅速膨脹的同時(shí),還要進(jìn)行深度的數(shù)據(jù)深度分析和挖掘,并且對(duì)自動(dòng)化分析要求越來(lái)越高,越來(lái)越多的大數(shù)據(jù)數(shù)據(jù)分析工具和產(chǎn)品應(yīng)運(yùn)而生,如用于大數(shù)據(jù)挖掘的R Hadoop版、基于MapReduce開發(fā)的數(shù)據(jù)挖掘算法等等。

(5)大數(shù)據(jù)可視化分析方向。通過(guò)可視化方式來(lái)幫助人們探索和解釋復(fù)雜的數(shù)據(jù),有利于決策者挖掘數(shù)據(jù)的商業(yè)價(jià)值,進(jìn)而有助于大數(shù)據(jù)的發(fā)展。很多公司也在開展相應(yīng)的研究,試圖把可視化引入其不同的數(shù)據(jù)分析和展示的產(chǎn)品中,各種可能相關(guān)的商品也將會(huì)不斷出現(xiàn)??梢暬ぞ逿abealu 的成功上市反映了大數(shù)據(jù)可視化的需求。

(6)大數(shù)據(jù)安全方向。當(dāng)我們?cè)谟么髷?shù)據(jù)分析和數(shù)據(jù)挖掘獲取商業(yè)價(jià)值的時(shí)候,黑客很可能在向我們攻擊,收集有用的信息。因此,大數(shù)據(jù)的安全一直是企業(yè)和學(xué)術(shù)界非常關(guān)注的研究方向。通過(guò)文件訪問(wèn)控制來(lái)限制呈現(xiàn)對(duì)數(shù)據(jù)的操作、基礎(chǔ)設(shè)備加密、匿名化保護(hù)技術(shù)和加密保護(hù)等技術(shù)正在最大程度的保護(hù)數(shù)據(jù)安全。

互聯(lián)網(wǎng)的發(fā)展是大數(shù)據(jù)發(fā)展的最大驅(qū)動(dòng)力0

截至 2014 年 6月,我國(guó)網(wǎng)民規(guī)模達(dá) 6.32億,較 2013年底增加1442 萬(wàn)人,互聯(lián)網(wǎng)普及 46.9%,即接近一半的中國(guó)人在使用互聯(lián)網(wǎng)?;ヂ?lián)網(wǎng)的增長(zhǎng)速度超越了很多人的預(yù)期:4年前即2010年6月,互聯(lián)網(wǎng)普及率為31.8%,而僅經(jīng)歷了四年,互聯(lián)網(wǎng)的普及率增加了超過(guò)15%。

更為重要的是,CNNIC的數(shù)據(jù)還顯示,截至2014年6月,我國(guó)網(wǎng)民上網(wǎng)設(shè)備中,手機(jī)使用率達(dá)83.4%,首次超越傳統(tǒng)PC整體使用率(80.9%),手機(jī)作為第一大上網(wǎng)終端設(shè)備的地位更加鞏固,手機(jī)使得上網(wǎng)變得更加隨時(shí)隨地,手機(jī)上網(wǎng)更加滲透到人們的日常工作和生活中。

因此,互聯(lián)網(wǎng)普及使得網(wǎng)民的行為更加多元化,通過(guò)互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)發(fā)展更加迅猛,更具代表性。互聯(lián)網(wǎng)世界中的商品信息、社交媒體中的圖片、文本信息以及視頻網(wǎng)站的視頻信息,互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等,都已經(jīng)成為大數(shù)據(jù)的最重要也是增長(zhǎng)最快的來(lái)源。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }