99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁職業(yè)發(fā)展大數(shù)據(jù)不是謊言
大數(shù)據(jù)不是謊言
2014-11-24
收藏

大數(shù)據(jù)不是謊言

近日在網(wǎng)上看到一篇題為《SAP Sybase CTO：“大數(shù)據(jù)是個大謊言”》的評論，筆者被其標題所吸引并點擊閱讀。那么，這篇看似與當今火熱的“大數(shù)據(jù)”概念相悖的文章都說了些什么呢？

　　我現(xiàn)在主要關(guān)注存儲領(lǐng)域，對于軟件和應(yīng)用有些外行。不過像EMC這樣的傳統(tǒng)企業(yè)存儲廠商都通過收購Greenplum進入大數(shù)據(jù)領(lǐng)域，筆者不得不也做些了解，下面簡單談?wù)勛约涸谶@方面的認識。

　　大數(shù)據(jù)究竟是不是一個謊言？

　　SAP在該文中的觀點，可以簡單歸納為：使用列式數(shù)據(jù)庫就可以應(yīng)對包含非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的“大數(shù)據(jù)”分析。當然SAP也使用了“數(shù)據(jù)倉庫”一詞，就是說他們在數(shù)據(jù)量的增長方面，與新興的Teredata（天睿）、被IBM收購的Netazza，以及被EMC收購的Greenplum等公司的認識是一樣的。

　　屬于SAP的Sybase這樣說自然有其所處立場的原因。根據(jù)我的理解，列式數(shù)據(jù)庫中每一列的長度可以不固定，適用于存放大小不等的數(shù)據(jù)對象，因此能夠處理傳統(tǒng)行式數(shù)據(jù)庫無法應(yīng)對的非結(jié)構(gòu)化數(shù)據(jù)。SAP和上述幾款數(shù)據(jù)倉庫產(chǎn)品也都提到了壓縮對于節(jié)省空間和在一些情況下提高數(shù)據(jù)加載速度的重要性，類似的是被Oracle分別收購的Sun ZFS和Pillar Axiom存儲產(chǎn)品線加入了適用于自家數(shù)據(jù)庫的混合列式壓縮功能，將相關(guān)工作卸載到存儲硬件上來執(zhí)行。

　　筆者認為，“大數(shù)據(jù)”相對于傳統(tǒng)交易型數(shù)據(jù)庫，除了強調(diào)挖掘其商業(yè)價值、分析之外，上面沒有提及的還有對硬件設(shè)備的需求特點。請大家先看看下面這個表： 

 
筆者較早下載的一個EMC文檔中，Greenplum DCA的規(guī)格表
　　上面為EMC Greenplum DCA（Data Computing Appliance，數(shù)據(jù)計算設(shè)備）產(chǎn)品家族的規(guī)格表。其中GP1000和GP1000C的區(qū)別主要在于后者針對大容量，應(yīng)該是使用了低轉(zhuǎn)速（7200rpm）硬盤，因此未壓縮/壓縮可用容量分別達到了124TB和496TB，數(shù)據(jù)掃描速度為14GB/s；而GP1000估計是相對小容量高轉(zhuǎn)速（10K/15K rpm）的硬盤，容量比不上GP1000C，當數(shù)據(jù)掃描速度高達24GB/s。
　　這里強調(diào)數(shù)據(jù)加載和掃描速度（帶寬）而不是IOPS，可以明顯地反映出與OLTP應(yīng)用之間的區(qū)別。另外，這兩款Greenplum DCA都是由2臺主服務(wù)器和16臺片段（Segment）服務(wù)器組成，也就是說都是基于高性價比的工業(yè)標準x86服務(wù)器的MPP（大規(guī)模并行處理，最多6個機架）分布式可擴展架構(gòu)。這也是許多“大數(shù)據(jù)”設(shè)備共同的特點。
　　如果說Greenplum DCA是該產(chǎn)品線的硬件基礎(chǔ)的話，那么像Greenplum Database、Greenplum HD就是運行在上面的數(shù)據(jù)平臺，如今其中又加入了一位新成員“Made in China”的Greenplum Chorus。
EMC全球副總裁兼中國區(qū)總裁蔡漢輝（左）和全球副總裁兼中國研發(fā)集團總經(jīng)理李映（右），借一個月之前EMC宣布收購Privotal Labs和推出Greenplum Chorus之機，于上周向國內(nèi)媒體介紹該公司的大數(shù)據(jù)戰(zhàn)略。
　　對于大數(shù)據(jù)，EMC全球副總裁兼中國卓越研發(fā)集團總經(jīng)理李映博士的看法是：“首先大數(shù)據(jù)的第一個概念就是大，無論是存儲也好，數(shù)據(jù)分析也好，你原來可能說可以處理TB，現(xiàn)在隨著硬件和軟件的提高，現(xiàn)在你的數(shù)據(jù)可以乘一、乘二、乘三，是不是可以認為自己處理大數(shù)據(jù)呢，我們理解是不是的，它是隨著數(shù)據(jù)量的增長和復雜程度產(chǎn)生對你處理數(shù)據(jù)和存儲數(shù)據(jù)必須采取完全不同的處理的方法、解決的方法才可以解決這個問題，所謂的從量變到質(zhì)變，這才是大數(shù)據(jù)的概念現(xiàn)在變成熱門最主要的目的。原來你可能是縱向擴展，你原來可能是交易數(shù)據(jù)，在這個方面很容易處理，但是你在傳統(tǒng)的數(shù)據(jù)不能處理的時候這樣也可以稱之為大數(shù)據(jù)?！?/span>
　　EMC Greenplum UAP（統(tǒng)一分析平臺）
　　在Greenplum UAP（統(tǒng)一分析平臺）架構(gòu)中，底層硬件的選擇范圍比較靈活，可以是“云架構(gòu)、x86集群設(shè)備或者一體機”，它上面由數(shù)據(jù)平臺管理員負責的Greenplum數(shù)據(jù)庫和Greenplum Hadoop（HD）我們已經(jīng)不陌生了，那么再往上除了“數(shù)據(jù)訪問和查詢層”、“三方/合作伙伴工具和服務(wù)”之外，在與數(shù)據(jù)打交道的各種用戶之間又加入了一個“Greenplum Chorus－分析生產(chǎn)力層”。也就是說Chorus是處于Greenplum結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)平臺和用戶分析應(yīng)用之間的銜接部分。
　　專門負責Greenplum Chorus產(chǎn)品線，EMC中國研發(fā)集團的資深產(chǎn)品經(jīng)理莊富任先生是這樣表示的：“去年對于Greenplum來講有一個很重要的時刻，我們提出一個新的概念，叫做統(tǒng)一分析平臺，就是針對海量數(shù)據(jù)有一個統(tǒng)一分析的平臺，它包含什么呢？有三個主要部分，剛才也提到了第一是Greenplum的數(shù)據(jù)庫，第二是Greenplum HD非結(jié)構(gòu)化的數(shù)據(jù)，這有什么不一樣的呢？數(shù)據(jù)庫很傳統(tǒng)，就是儲存一般化的數(shù)據(jù)，這已經(jīng)發(fā)展了好幾十年了。我們看到客戶越來越多的需求，剛才提到非結(jié)構(gòu)化數(shù)據(jù)，什么是非結(jié)構(gòu)化數(shù)據(jù)呢？ 
　　我們可以看見文件是非結(jié)構(gòu)化數(shù)據(jù)；對于Internet來講網(wǎng)站的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)；對電信業(yè)者來講，每個人打電話的明細是非結(jié)構(gòu)化數(shù)據(jù)。這樣的數(shù)據(jù)增長的非常快，我是不是有能力去幫助這些客戶儲存這些數(shù)據(jù)，用一個很便宜的架構(gòu)，去存儲這樣的數(shù)據(jù)？這就是Greenplum的產(chǎn)品公布，可以幫助客戶用最便宜的價格去存儲這些數(shù)據(jù)。第三就是Greenplum Chorus，是基于這上面的協(xié)作分析平臺，因為有了數(shù)據(jù)的儲存，需要有一個共同的平臺去分析底下的結(jié)構(gòu)化跟非結(jié)構(gòu)化數(shù)據(jù)。” 
　　Pivotal Labs、Chorus及其中國研發(fā)團隊
　　EMC全球副總裁兼中國區(qū)總裁蔡漢輝在演講中提道：“我們在3月下旬剛剛收購了一個公司叫做Pivotal Labs，這是個舊金山的公司，就是在敏捷開發(fā)方面提供服務(wù)和軟件的。（上圖）底下都是一些有名的公司，他們都是Pivotal Labs的客戶，比如Salesforce.com、Twitter等等?！?/span>
　　對于為什么要推出Chorus，或者說收購Pivotal Labs這家公司？李映表示：“更重要的是把這個數(shù)據(jù)分析的結(jié)構(gòu)更快的應(yīng)用到應(yīng)用中，使用到和你的業(yè)務(wù)流程很好的結(jié)合在一起。能不能很快的滿足你的二次開發(fā)或者需求，這是很關(guān)鍵的要素。EMC最關(guān)鍵的要素是我們能夠提供一體機的解決方案，同時我們滿足客戶有開放的選擇，第二個是很好的敏捷的開發(fā)，很快的把現(xiàn)有流程改變，以及一些新的應(yīng)用開發(fā)達到很好的滿足，這是我對打包方案的看法?！?/span>
　　EMC表示Chorus是全球第一個基于協(xié)作分析的大數(shù)據(jù)平臺，號稱“數(shù)據(jù)科學家的Facebook”。對于EMC Greenplum Chorus中國造，又是怎么回事呢？
　　Pivotal Labs公司創(chuàng)立于1989年，總部位于舊金山，而其研發(fā)團隊應(yīng)該就在國內(nèi)。我們覺得這給他們被EMC收購后并入中國卓越研發(fā)集團北京研發(fā)中心帶來了很大方便，估計在對國內(nèi)用戶的支持上也容易做得比較到位吧。
　　對于Greenplum Chorus的四大重要功能：個人沙盒、數(shù)據(jù)發(fā)掘、協(xié)作分析和開放架構(gòu)，以及將于今年“開源”，這些已經(jīng)偏向軟件應(yīng)用及開發(fā)領(lǐng)域，筆者沒有什么更多的高見。如果再多寫一些難免人云亦云，想進一步了解更多信息的讀者估計也會看到其他媒體的相關(guān)報道，我想EMC也是樂于講給用戶聽的。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }