99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁職業(yè)發(fā)展大數(shù)據(jù)是一場(chǎng)大變革
大數(shù)據(jù)是一場(chǎng)大變革
2014-11-24
收藏

大數(shù)據(jù)是一場(chǎng)大變革

大數(shù)據(jù)不僅是一種數(shù)據(jù)倉庫技術(shù)或BI(商業(yè)智能)的升級(jí)版，同時(shí)也是一場(chǎng)革命。大數(shù)據(jù)的宣言：無需恐懼毋庸置疑，大數(shù)據(jù)是一場(chǎng)大變革。

 
第一次世界技術(shù)革命時(shí)，我們正在考慮的不是如何減少數(shù)據(jù)數(shù)量和如何把它歸檔，而是如何收集更多的數(shù)據(jù)并對(duì)其進(jìn)行分析。那時(shí)，我們并不怕受到受到數(shù)據(jù)量的威脅，而是在尋找額外的數(shù)據(jù)，以幫助我們發(fā)展業(yè)務(wù)，進(jìn)一步了解我們的政府和社會(huì)。
 
后來，磁盤和存儲(chǔ)的低成本與價(jià)格下降推動(dòng)了商品服務(wù)器集群的分散式處理趨勢(shì)。雖然我們收集、處理和分析大數(shù)據(jù)已經(jīng)有相當(dāng)長的一段時(shí)間了，但直到如今，我們所使用的方法依然是低效率，并缺乏經(jīng)濟(jì)性的。但這場(chǎng)大變革中有著我們一直想知道但以前又不曾涉及的數(shù)據(jù)，所以，現(xiàn)在的我們無需恐懼。
 
大數(shù)據(jù)的定義我對(duì)大數(shù)據(jù)的基本定義是高科技領(lǐng)域內(nèi)非常精細(xì)的事件驅(qū)動(dòng)數(shù)據(jù)的采集和分析。這涉及到互聯(lián)網(wǎng)的派生數(shù)據(jù)，這些派生數(shù)據(jù)的規(guī)模遠(yuǎn)遠(yuǎn)超出了網(wǎng)站的分析能力。它還與傳感器數(shù)據(jù)相關(guān)，而對(duì)于大部分傳感器數(shù)據(jù)我們直到最近才丟棄。現(xiàn)在，那些有很大價(jià)值的數(shù)據(jù)，將更有利于我們深入了解業(yè)務(wù)運(yùn)轉(zhuǎn)和與客戶的互動(dòng)。對(duì)我來說，這才是能否被稱為大數(shù)據(jù)的標(biāo)準(zhǔn)。
 
但是，事件驅(qū)動(dòng)數(shù)據(jù)集容量實(shí)在是太大了，以致于交易數(shù)據(jù)庫系統(tǒng)不能有效地運(yùn)轉(zhuǎn)。大數(shù)據(jù)，如Hadoop、復(fù)雜事件處理(CEP)和大規(guī)模并行處理(MPP)系統(tǒng)是專為這種較大的工作負(fù)荷量開發(fā)出來的。未來，交易系統(tǒng)將得到改進(jìn)，但它們也永遠(yuǎn)有一個(gè)障礙，即它們并沒有被設(shè)計(jì)和應(yīng)用。
 
2012年：大數(shù)據(jù)年代?
大數(shù)據(jù)正在成為主流，它從科學(xué)和高科技公司的專用技術(shù)轉(zhuǎn)變?yōu)槠髽I(yè)IT應(yīng)用程序的專用技術(shù)。大數(shù)據(jù)作為IT工具的主流，對(duì)IT領(lǐng)域有重大的影響，其可用性和易安裝標(biāo)準(zhǔn)是高于科學(xué)與高科技公司界對(duì)大數(shù)據(jù)的要求的。這就是為什么我們會(huì)看到像微軟這樣的公司，可以通過Web瀏覽器來實(shí)現(xiàn)利用云基礎(chǔ)大數(shù)據(jù)技術(shù)，從而進(jìn)軍游戲行業(yè)。
為了更好的使大數(shù)據(jù)與企業(yè)相融合，我們應(yīng)該實(shí)現(xiàn)技術(shù)的細(xì)化和降低經(jīng)營成本。眼下，很多大數(shù)據(jù)工具都是粗糙的或昂貴的，或者是需要能夠?qū)嵤┎僮鞯母叨葘I(yè)化的技術(shù)人員的輔助。不過，這種情況正在逐漸改變，而且，它從側(cè)面也證明了大數(shù)據(jù)革命的光明前景。
 
Spreadmarts不是大數(shù)據(jù)，但他們也有自己的作用大數(shù)據(jù)和我們習(xí)慣使用的電子表格模型和數(shù)量運(yùn)算有什么不同嗎?電子表格技術(shù)員們一直在做分析，但肯定不是大數(shù)據(jù)，因?yàn)镋xcel不符合前面對(duì)大數(shù)據(jù)集的定義。直到2007年，Excel才可以處理超過有16,384行的電子表格。但是，它還是不能處理較大的業(yè)務(wù)數(shù)據(jù)量，這方面它比大數(shù)據(jù)遜色許多。
 
當(dāng)然，大數(shù)據(jù)分析的結(jié)果可以利用Excel來進(jìn)一步計(jì)算和探討。事實(shí)上，微軟已經(jīng)開發(fā)了一個(gè)與Excel連接的附件，與Hadoop連接的數(shù)據(jù)倉庫接口，還有象征性的大數(shù)據(jù)技術(shù)。大數(shù)據(jù)工作就像經(jīng)過以Excel為基礎(chǔ)的分析和粗糙的編輯之后的后期制作。
 
從另一方面上看，BI(商務(wù)智能)和DW(數(shù)據(jù)倉庫)是相輔相成的，這對(duì)大數(shù)據(jù)而言是一件好事。大數(shù)據(jù)讓落后的、傳統(tǒng)的技術(shù)，為涵蓋比以前更廣的操作和交互范圍的數(shù)據(jù)集提供見解。我們可以在全新的環(huán)境下繼續(xù)使用熟悉的工具，從而實(shí)現(xiàn)對(duì)看似不可能或隨意的事情的訪問。
 
自然語言處理和大數(shù)據(jù)關(guān)于用Hadoop開展自然語言處理(NLP)的解決方案已經(jīng)產(chǎn)生了。該解決方案涉及到了Python編程語言和一套稱為 NTLK(自然語言工具包)。另一個(gè)例子是蘋果的SIRI技術(shù)在iPhone上的應(yīng)用。用戶只需與SIRI進(jìn)行對(duì)話，就能從一個(gè)龐大的領(lǐng)域?qū)＜覉F(tuán)隊(duì)那里得到答案。有趣的是，大數(shù)據(jù)技術(shù)將有助于改善自然語言技術(shù)，例如，對(duì)更大數(shù)量的書面作品進(jìn)行處理和對(duì)算法的理解。因此，大數(shù)據(jù)將變得更容易使用。
 
大數(shù)據(jù)專家和開發(fā)商：他們可以和平相處嗎?
我們并不需要問這種“To be Or Not to be”的問題。正如開發(fā)人員和數(shù)據(jù)庫專家將被繼續(xù)鼓勵(lì)開發(fā)軟件和對(duì)軟件生產(chǎn)與消費(fèi)的數(shù)據(jù)進(jìn)行專門的采集與分析一樣，這兩者是相輔相成的。
 
但我認(rèn)為，開發(fā)能力強(qiáng)的人才的確是一項(xiàng)寶貴的資產(chǎn)。因?yàn)榇蠖鄶?shù)高技術(shù)專業(yè)都會(huì)對(duì)本專業(yè)人才進(jìn)行自我篩選。而且，我一直把它當(dāng)做了一個(gè)趨勢(shì)，觀察整個(gè)行業(yè)的發(fā)展。在該行業(yè)中，很少有人逆勢(shì)而行，因此對(duì)人才的需求是很大的。
 
聯(lián)邦政府和大數(shù)據(jù)?
最近，宣布將在大數(shù)據(jù)方面投資2億美元的美國聯(lián)邦政府收到大量的保證金，它雖然具有一定的象征意義，但我覺得它也有缺陷。在大數(shù)據(jù)領(lǐng)域，2億美元的 投資實(shí)際上還是很少的，尤其是當(dāng)眾多的聯(lián)邦機(jī)構(gòu)存在分歧的時(shí)候。但是，當(dāng)政府談到其工作中大數(shù)據(jù)治理及大數(shù)據(jù)對(duì)社會(huì)的重要性時(shí)，它會(huì)告訴你大數(shù)據(jù)技術(shù)的力 量和影響。美國聯(lián)邦政府收集大量的數(shù)據(jù)，奧巴馬政府也承認(rèn)大數(shù)據(jù)有很大的潛在價(jià)值。
 
大數(shù)據(jù)和BI(商業(yè)智能)之間是相互獨(dú)立的，也是相互聯(lián)系的讓我們?cè)俅位氐奖疚拈_頭，大數(shù)據(jù)是不是BI的下一代呢?大數(shù)據(jù)是它自己的子類，并且可能 會(huì)一直如此。但它卻和BI、數(shù)據(jù)倉庫之類是相同的產(chǎn)業(yè)鏈的一部分，而這些類別存在的時(shí)間比他們?cè)緫?yīng)該存在的時(shí)間要短，這是由于它們分屬于完全不同的領(lǐng) 域。
 
因?yàn)榇髷?shù)據(jù)和BI是數(shù)據(jù)庫管理員、BI模型師和數(shù)據(jù)挖掘專家研究了超過十年的東西。而有些人對(duì)這兩個(gè)方面都有研究，有些則只專攻一個(gè)方面。它們不是 相互排斥的，也不是一方面是另一方面的新表現(xiàn)。所以，BI會(huì)與大數(shù)據(jù)相結(jié)合，數(shù)據(jù)專業(yè)技術(shù)、產(chǎn)品和結(jié)構(gòu)，與其他以數(shù)據(jù)為重點(diǎn)的高新技術(shù)專業(yè)有著密切的聯(lián) 系。這種關(guān)系貫穿于整個(gè)高科技產(chǎn)業(yè)和計(jì)算機(jī)科學(xué)，而且它們各自的特色仍然是合法的、有益的和真實(shí)的。
 
大數(shù)據(jù)留給了我們什么?
在辯論中，我們討論了一些情況，如大數(shù)據(jù)將會(huì)沖擊哪些已建立的數(shù)據(jù)庫、數(shù)據(jù)倉庫、BI和分析技術(shù)?大數(shù)據(jù)市場(chǎng)的確很廣闊，這可能使大數(shù)據(jù)的進(jìn)步更加迅速，但如果繼續(xù)使用已有的工具，我們?cè)趺床拍馨选皵?shù)據(jù)”變成“大數(shù)據(jù)”呢?
 
然而，大數(shù)據(jù)革命并不是通過這些已有的工具實(shí)現(xiàn)的，它的發(fā)生是遠(yuǎn)離這些工具。我們采集了大量的數(shù)據(jù)，這些數(shù)據(jù)的大部分都是非結(jié)構(gòu)化的。我們還使用廉 價(jià)的服務(wù)器和磁盤，然后把篩選過的數(shù)據(jù)放置到傳統(tǒng)系統(tǒng)中。由于存儲(chǔ)太昂貴，處理速度太慢，寬帶太稀少，我們重新使用那些被丟掉過的數(shù)據(jù)。現(xiàn)在，我們正在以 熟悉的方式來處理這些數(shù)據(jù)。這是史無前例的，同時(shí)也是直觀的。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }