99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀八大趨勢(shì)看透大數(shù)據(jù)分析的未來(lái)_數(shù)據(jù)分析師
八大趨勢(shì)看透大數(shù)據(jù)分析的未來(lái)_數(shù)據(jù)分析師
2014-11-11
收藏
八大趨勢(shì)看透大數(shù)據(jù)分析的未來(lái)_數(shù)據(jù)分析師

Intuit公司負(fù)責(zé)數(shù)據(jù)工程的副總裁Bill Loconzolo已兩腳踏入了數(shù)據(jù)湖。而Smarter Remarketer的首席數(shù)據(jù)科學(xué)家Dean Abbott也徑直走進(jìn)了云中。當(dāng)我們說(shuō)到大數(shù)據(jù)和分析的前沿時(shí)，它既包括數(shù)據(jù)湖(以原生格式存儲(chǔ)海量數(shù)據(jù))，當(dāng)然也包括云計(jì)算。盡管這些技術(shù)選項(xiàng)距離成熟還很遠(yuǎn)，但我們肯定不能選擇一味的等待和觀望。

“現(xiàn)實(shí)情況雖然是，各種大數(shù)據(jù)工具在不斷涌現(xiàn)，但Hadoop平臺(tái)的前途尚未達(dá)到讓企業(yè)能夠依賴的程度，”Loconzolo說(shuō)。然而大數(shù)據(jù)和分析技術(shù)演變得如此之快，企業(yè)必須做出抉擇，要么涉足其中，要么就得冒落后的風(fēng)險(xiǎn)?！霸谶^(guò)去，新興技術(shù)可能需要幾年時(shí)間才能成熟。而現(xiàn)在，解決方案的迭代和升級(jí)只需要幾個(gè)月，甚至幾周時(shí)間?！蹦敲?，在你的觀察名單或者實(shí)驗(yàn)室里，最重要的新興技術(shù)和趨勢(shì)是什么呢?當(dāng)我們用這樣的問(wèn)題去問(wèn)很多IT高管、咨詢師和行業(yè)分析師時(shí)，得到了如下的答案。
　1、云中的大數(shù)據(jù)分析
Hadoop框架和一組工具可用于處理非常大的數(shù)據(jù)集，它最初是為了物理機(jī)集群而設(shè)計(jì)的。但現(xiàn)在情況有了變化。Forrest分析師Brian Hopkins說(shuō)：“如今已有很多技術(shù)可用于處理云中的數(shù)據(jù)。”實(shí)例包括亞馬遜Redshift所托管的BI數(shù)據(jù)倉(cāng)庫(kù)、谷歌BigQuery數(shù)據(jù)分析服務(wù)、IBM Bluemix云平臺(tái)，以及亞馬遜Kinesis數(shù)據(jù)處理服務(wù)等。“大數(shù)據(jù)的未來(lái)狀態(tài)將是企業(yè)端和云端的某種混合態(tài)?！?/span>
從事零售業(yè)分析與營(yíng)銷服務(wù)的SaaS廠商Smarter Remarketer最近已從其內(nèi)部的Hadoop和MongoDB數(shù)據(jù)庫(kù)基礎(chǔ)架構(gòu)轉(zhuǎn)移到了亞馬遜Redshift云數(shù)據(jù)倉(cāng)庫(kù)上。該公司主要收集線上和線下的零售銷售數(shù)據(jù)、消費(fèi)者統(tǒng)計(jì)數(shù)據(jù)及實(shí)時(shí)行為數(shù)據(jù)，然后對(duì)其作分析，幫助零售商創(chuàng)建有針對(duì)性的消息發(fā)送，以便吸引顧客的響應(yīng)(某些情況下可能是實(shí)時(shí)的響應(yīng))。
Abbortt稱，Redshift對(duì)于Smarter Remarketer的數(shù)據(jù)需求來(lái)說(shuō)，更具成本效益，特別是其針對(duì)結(jié)構(gòu)化數(shù)據(jù)的范圍廣泛的報(bào)表功能。作為一種托管服務(wù)，Redshift既可擴(kuò)展，使用起來(lái)也相對(duì)簡(jiǎn)單?！八?a href='/map/xuniji/' style='color:#000;font-size:inherit;'>虛擬機(jī)上的擴(kuò)展成本要比購(gòu)買由我們自己管理的物理機(jī)便宜不少?！?/span>
Intuit也開(kāi)始謹(jǐn)慎地在向云分析轉(zhuǎn)移，因?yàn)樗枰粋€(gè)安全、穩(wěn)定和可審計(jì)的環(huán)境。這家財(cái)務(wù)軟件公司一方面計(jì)劃在自己私有的Intuit分析云中保留一切資源，另一方面“又在與亞馬遜和Cloudera合作，計(jì)劃構(gòu)建一個(gè)公私混合的、高度可用而且安全的分析云，”Loconzolo說(shuō)。對(duì)于像Intuit這樣銷售在云中運(yùn)行的產(chǎn)品廠商來(lái)說(shuō)，向云的遷移是不可避免的?！耙坏┰谄髽I(yè)端分析數(shù)據(jù)的成本高到無(wú)法承受時(shí)，就只能把所有的數(shù)據(jù)遷到云中去?！?/span>
　2、Hadoop：新的企業(yè)數(shù)據(jù)操作系統(tǒng)
Hopkins認(rèn)為，各種分布式分析框架，如MapReduce，正在演變?yōu)榉植际劫Y源管理器，它們會(huì)逐漸地將Hadoop轉(zhuǎn)變?yōu)橐环N通用的數(shù)據(jù)操作系統(tǒng)。有了Hadoop這樣的分布式文件存儲(chǔ)系統(tǒng)，“你就能執(zhí)行很多不同的數(shù)據(jù)操控和分析任務(wù)?！?/span>
這種變化對(duì)企業(yè)來(lái)說(shuō)意義何在呢?和SQL一樣，MapReduce、內(nèi)存計(jì)算、流處理、圖形分析和其他類型的工作負(fù)載都能夠以適當(dāng)?shù)男阅茉?a href='/map/hadoop/' style='color:#000;font-size:inherit;'>Hadoop上運(yùn)行，越來(lái)越多的企業(yè)會(huì)把Hadoop當(dāng)作企業(yè)數(shù)據(jù)集中庫(kù)來(lái)使用?！斑@樣的能力，即針對(duì)Hadoop上的數(shù)據(jù)執(zhí)行多種不同類型查詢和操控的能力，將使其成為一種低成本的通用平臺(tái)，企業(yè)想要分析的任何數(shù)據(jù)都可以放在其上進(jìn)行分析。”Hopkins說(shuō)。
Intuit已經(jīng)開(kāi)始在構(gòu)建自己的Hadoop基礎(chǔ)?！拔覀兊膽?zhàn)略是利用MapReduce和Hadoop，構(gòu)造Hadoop分布式文件系統(tǒng)，長(zhǎng)期目標(biāo)是讓人和產(chǎn)品之間所有類型的互動(dòng)得以產(chǎn)生，”Loconzolo說(shuō)。
3、大數(shù)據(jù)湖
傳統(tǒng)的數(shù)據(jù)庫(kù)理論會(huì)告訴你，在進(jìn)入任何數(shù)據(jù)之前，首先得設(shè)計(jì)好數(shù)據(jù)集。而數(shù)據(jù)湖，也稱企業(yè)數(shù)據(jù)湖或企業(yè)數(shù)據(jù)集中庫(kù)，可能會(huì)徹底改變傳統(tǒng)模式，普華永道美國(guó)咨詢業(yè)務(wù)負(fù)責(zé)人兼首席技術(shù)專家Chris Curran說(shuō)?！耙簿褪钦f(shuō)，我們會(huì)將各種數(shù)據(jù)資源傾倒進(jìn)一個(gè)大的Hadoop倉(cāng)庫(kù)中去，而不會(huì)事先設(shè)計(jì)什幺數(shù)據(jù)模型?！毕喾吹?，我們會(huì)提供各種工具，再配上對(duì)數(shù)據(jù)湖中現(xiàn)存數(shù)據(jù)的頂層定義，供人們?nèi)シ治鰯?shù)據(jù)。“這樣，人們就可隨著對(duì)數(shù)據(jù)湖的逐步深入而構(gòu)建起自己的數(shù)據(jù)視圖。這正是構(gòu)建一個(gè)大規(guī)模數(shù)據(jù)庫(kù)的增量化的、有機(jī)的模型?！盋urran說(shuō)。不過(guò)，這種方法也存在不足，那就是對(duì)數(shù)據(jù)分析人員的技術(shù)要求較高。
Loconzolo說(shuō)，作為Intuit分析云的一個(gè)組成部分，Intuit也有一個(gè)數(shù)據(jù)湖，包括用戶的點(diǎn)擊流數(shù)據(jù)、企業(yè)數(shù)據(jù)和第三方數(shù)據(jù)，但重點(diǎn)是圍繞數(shù)據(jù)湖對(duì)工具進(jìn)行所謂的“民主化”，讓商業(yè)人士都能有效地使用它。Loconzolo說(shuō)，在Hadoop里構(gòu)建一個(gè)數(shù)據(jù)湖，他的一個(gè)擔(dān)心是Hadoop平臺(tái)并未真正實(shí)現(xiàn)企業(yè)就緒。“我們希望它具備數(shù)十年來(lái)傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)所具備的所有功能——監(jiān)控訪問(wèn)控制、數(shù)據(jù)加密、保護(hù)數(shù)據(jù)，并可跟蹤數(shù)據(jù)從源到目標(biāo)的傳遞路徑?！?/span>
　4、更有預(yù)測(cè)性的分析
有了大數(shù)據(jù)，分析師們不僅有了更多的數(shù)據(jù)可用，而且具備了處理大量多屬性記錄的能力，Hopkins說(shuō)。傳統(tǒng)的機(jī)器學(xué)習(xí)使用的是對(duì)全體數(shù)據(jù)集某個(gè)樣本所作的統(tǒng)計(jì)分析。“而現(xiàn)在，我們已經(jīng)可以處理海量的記錄，以及對(duì)每條記錄的海量屬性進(jìn)行處理，”從而提高了預(yù)測(cè)能力，他說(shuō)。
大數(shù)據(jù)與計(jì)算能力相互結(jié)合，還能讓分析師們?nèi)パ芯啃碌男袨閿?shù)據(jù)，例如消費(fèi)者所訪問(wèn)的網(wǎng)站或位置信息等。Hopkins稱之為“稀疏數(shù)據(jù)”，因?yàn)橐胝页稣嬲信d趣的東西，就必須在大量看似無(wú)關(guān)緊要的數(shù)據(jù)里去淘金?！搬槍?duì)這種類型的數(shù)據(jù)，試圖采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法，這在計(jì)算上就是行不通的。現(xiàn)在，我們可以把更便宜的計(jì)算能力賦予Hadoop平臺(tái)。你只需要去解決問(wèn)題，而完全不必再去考慮速度和內(nèi)存是否會(huì)有問(wèn)題了?！盇bbott說(shuō)?！叭缃?，遇到問(wèn)題時(shí)，我們可以利用強(qiáng)大的計(jì)算資源，找出哪些變量可以進(jìn)行最佳分析。這確實(shí)是一個(gè)游戲規(guī)則改變者?！?/span>
“如何用Hadoop核心來(lái)實(shí)現(xiàn)實(shí)時(shí)分析以及預(yù)測(cè)建模，這才是我們真正感興趣的所在，”Loconzolo說(shuō)。但在這方面來(lái)說(shuō)，速度一直是個(gè)問(wèn)題。相較于一些已成熟的技術(shù)，采用Hadoop來(lái)獲得問(wèn)題答案的時(shí)間要長(zhǎng)出20倍左右。所以Intuit開(kāi)始測(cè)試大規(guī)模數(shù)據(jù)處理引擎Apache Spark，及其相關(guān)的SQL查詢工具Spark SQL?！癝park具備快速的交互式查詢、圖表服務(wù)和流處理能力。它一面將數(shù)據(jù)保留在Hadoop中，又能提供足夠的性能來(lái)縮小速度上的差距。”Loconzolo說(shuō)。
　5、SQL on Hadoop：更快、更好
假如你擅長(zhǎng)編程，而且精通數(shù)學(xué)，就可以很容易地將數(shù)據(jù)放入Hadoop，并對(duì)其進(jìn)行分析。這既是美好前景，但也是問(wèn)題所在，Gartner分析師Mark Beyer說(shuō)。“我得需要有個(gè)人幫我將數(shù)據(jù)納入某種格式和我所熟悉的某種語(yǔ)言中，才能進(jìn)行分析。”這也是SQL on Hadoop能夠流行開(kāi)來(lái)的緣故，因?yàn)閷?duì)于早就了解SQL技巧的商業(yè)用戶來(lái)說(shuō)，使用可支持類SQL查詢語(yǔ)言的工具對(duì)數(shù)據(jù)進(jìn)行操控并不困難。SQL on Hadoop“為Hadoop在企業(yè)中的應(yīng)用打開(kāi)了大門”，Hopkins說(shuō)，因?yàn)槠髽I(yè)無(wú)須再花高薪聘請(qǐng)能用Java、JavaScript和Python編寫數(shù)據(jù)腳本的數(shù)據(jù)科學(xué)家和業(yè)務(wù)分析師了。
這些工具都不是什么新東西。Apache Hive就可為Hadoop提供一種結(jié)構(gòu)化的、類似SQL的查詢語(yǔ)言。還有一些商用工具，如來(lái)自Cloudera、Pivotal軟件、IBM和其他一些廠商的產(chǎn)品，不但可提供更好的性能，而且還能讓查詢進(jìn)行的更快速。這些工具讓Hadoop能更好地適用于“迭代分析”，也就是在詢問(wèn)了一個(gè)問(wèn)題并得到答案后，可以在此基礎(chǔ)上查詢新的問(wèn)題。這樣的工作傳統(tǒng)上是需要構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)才能進(jìn)行的，Hopkins說(shuō)，SQL on Hadoop無(wú)意取代數(shù)據(jù)倉(cāng)庫(kù)，至少短期內(nèi)不會(huì)，“但它可為某些類型的分析提供成本更低廉的軟件和分析器具?！?/span>
　6、更多、更好的NoSQL
可取代傳統(tǒng)基于SQL關(guān)系數(shù)據(jù)庫(kù)的技術(shù)叫做NoSQL數(shù)據(jù)庫(kù)，它正迅速普及，用于一些特定的分析應(yīng)用中，而其發(fā)展動(dòng)力也在持續(xù)增強(qiáng)。Curran估計(jì)，目前市面上已出現(xiàn)了15到20個(gè)開(kāi)源的NoSQL數(shù)據(jù)庫(kù)，每個(gè)NoSQL數(shù)據(jù)庫(kù)都各有特色。例如ArangoDB就是具有圖形功能的NoSQL產(chǎn)品，相比于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，它可提供一種更快速、更直接的方式來(lái)分析客戶或銷售人員的關(guān)系網(wǎng)絡(luò)。
開(kāi)源的SQL數(shù)據(jù)庫(kù)“早就有了，但它們并未流行開(kāi)來(lái)，因?yàn)樾枰獙I(yè)的分析人員，”Curran說(shuō)。普華永道的一個(gè)客戶在商店的貨架上放置了很多傳感器，用于監(jiān)控貨架上的產(chǎn)品多長(zhǎng)時(shí)間會(huì)被消費(fèi)者拿到手里，消費(fèi)者在某個(gè)貨架前會(huì)停留多長(zhǎng)時(shí)間，等等?！斑@些傳感器會(huì)產(chǎn)生大量的呈指數(shù)級(jí)增加的數(shù)據(jù)。一個(gè)NoSQL鍵值組合數(shù)據(jù)庫(kù)則可專門用于處理這樣的情形，而且性能高，還是輕量級(jí)的。”
　7、深度學(xué)習(xí)
所謂深度學(xué)習(xí)是基于神經(jīng)網(wǎng)絡(luò)的一組機(jī)器學(xué)習(xí)技術(shù)，雖然尚未成熟，但已表現(xiàn)出解決各類商業(yè)問(wèn)題的潛能，Hopkins說(shuō)?！?a href='/map/shenduxuexi/' style='color:#000;font-size:inherit;'>深度學(xué)習(xí)……能讓電腦在大量非結(jié)構(gòu)化和二進(jìn)制數(shù)據(jù)中識(shí)別出感興趣的東西，無(wú)須專門的模型或程序指令便可推演出各種邏輯關(guān)系來(lái)?！?/span>
例如，一個(gè)深度學(xué)習(xí)算法可以檢查從維基百科上所學(xué)來(lái)的數(shù)據(jù)，自己判斷出加利福尼亞和德克薩斯是美國(guó)的行政州?！岸槐貙?duì)它進(jìn)行模式化才能了解國(guó)家和州的概念，舊的機(jī)器學(xué)習(xí)和新興的深度學(xué)習(xí)方法之間存在著巨大的區(qū)別，”Hopkins說(shuō)。
“大數(shù)據(jù)將采用先進(jìn)的分析技術(shù)如深度學(xué)習(xí)等，處理大量類型不同的非結(jié)構(gòu)化數(shù)據(jù)，以便幫助我們開(kāi)始更好地了解數(shù)據(jù)的意義，”Hopkins說(shuō)。深度學(xué)習(xí)可以識(shí)別各種不同的數(shù)據(jù)類型，例如視頻中的各種形狀、色彩和物體，就連其中有一只貓都能識(shí)別出來(lái)，這正是谷歌在2012年開(kāi)發(fā)的神經(jīng)網(wǎng)絡(luò)可以做到的事情?！斑@種認(rèn)知參與、先進(jìn)分析的理念將成為未來(lái)的一大重要趨勢(shì)?！?/span>
8、內(nèi)存分析
使用內(nèi)存數(shù)據(jù)庫(kù)來(lái)提速分析處理流程，已越來(lái)越流行，而且收益很大。Beyer認(rèn)為，事實(shí)上，很多企業(yè)已經(jīng)在采用混合事務(wù)/分析處理(HTAP)，該技術(shù)允許事務(wù)和分析處理駐留在同一個(gè)內(nèi)存數(shù)據(jù)庫(kù)中。
盡管采用HTAP可加快分析速度，但所有的分析必須駐留在同一個(gè)數(shù)據(jù)庫(kù)內(nèi)。Beyer認(rèn)為，今天大多數(shù)的分析研發(fā)都是為了解決這個(gè)問(wèn)題，力圖將來(lái)自很多不同系統(tǒng)的事務(wù)分析匯總到一個(gè)數(shù)據(jù)庫(kù)中。
最好能提前一步
圍繞大數(shù)據(jù)和分析有如此之多的新興趨勢(shì)，那么IT組織就需要?jiǎng)?chuàng)造條件，允許分析師和數(shù)據(jù)科學(xué)家去做各種試驗(yàn)。Curran說(shuō)：“企業(yè)需要的則是一種可用于評(píng)估、研發(fā)原型產(chǎn)品，并最終可將這些技術(shù)中的一些技術(shù)集成到業(yè)務(wù)中去的方法?！?/span>
“IT管理者和實(shí)施者不能以尚未成熟為借口，拒絕進(jìn)行試驗(yàn)，”Beyer說(shuō)。剛開(kāi)始，可以由少數(shù)人，主要是有專長(zhǎng)的分析師和數(shù)據(jù)科學(xué)家進(jìn)行試驗(yàn)，然后再由一些高水平的用戶和IT部門共同決定何時(shí)可以把新的資源交付給組織的其他部門使用。IT部門不必限制分析師們投入全副精力去做試驗(yàn)，相反地，他們應(yīng)與分析師們合作，“只需給這些新的高性能工具安裝一個(gè)可變速的閥門就行了?！保ㄎ恼聛?lái)源:CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)）

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }