99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁職業(yè)發(fā)展解讀IBM基于Hadoop的數(shù)據(jù)分析平臺(tái)_數(shù)據(jù)分析師
解讀IBM基于Hadoop的數(shù)據(jù)分析平臺(tái)_數(shù)據(jù)分析師
2014-11-24
收藏

解讀IBM基于Hadoop的數(shù)據(jù)分析平臺(tái)_數(shù)據(jù)分析師

毫無疑問，大數(shù)據(jù)成了2012年的熱門詞。根據(jù)國外統(tǒng)計(jì)機(jī)構(gòu)的報(bào)告，大數(shù)據(jù)處理在今年的市場規(guī)模已經(jīng)達(dá)到700億美元并且正以每年15-20%的速度增長。幾乎所有主要的大科技公司都對大數(shù)據(jù)感興趣，對該領(lǐng)域的產(chǎn)品及服務(wù)進(jìn)行了大量投入。其中包括了IBM、Oracel、EMC、HP、Dell、SGI、日立、Yahoo等，而且這個(gè)列表還在繼續(xù)。

    IBM也在2011年中旬對外發(fā)布了針對大數(shù)據(jù)處理和分析技術(shù)：在SmartCloud平臺(tái)上新增基于Apache Hadoop的服務(wù)InfoSphere BigInsights分析軟件。在日前舉行的中國程序員、數(shù)據(jù)庫工程師“2011 IBM DB2 遷移之星大賽”媒體活動(dòng)上。IBM軟件集團(tuán)大中華區(qū)信息管理軟件總經(jīng)理盧偉權(quán)、IBM中國開發(fā)中心信息管理總經(jīng)理朱輝就相關(guān)話題分享了自己的看法。

3年前布局Hadoop研發(fā)

      據(jù)介紹，IBM對Hadoop的研究開始于2～3年前。截止到目前，研究成果涉及作業(yè)調(diào)度、查詢語言等多個(gè)方面。作為典型應(yīng)用成果，IBM InfoSphere大數(shù)據(jù)分析平臺(tái)包括BigInsights和Streams，二者互補(bǔ)，Biglnsights對大規(guī)模的靜態(tài)數(shù)據(jù)進(jìn)行分析，它提供多節(jié)點(diǎn)的分布式計(jì)算，可以隨時(shí)增加節(jié)點(diǎn)，提升數(shù)據(jù)處理能力。Streams采用內(nèi)存計(jì)算方式分析實(shí)時(shí)數(shù)據(jù)。InfoSphere大數(shù)據(jù)分析平臺(tái)還集成了數(shù)據(jù)倉庫、數(shù)據(jù)庫、數(shù)據(jù)集成、業(yè)務(wù)流程管理等組件。

BigInsight整體框架圖

     BigInsights基礎(chǔ)版和企業(yè)版均包含了Apache Hadoop和大量的開源軟件技術(shù)，具體包含的開源項(xiàng)目：

  • Apache Hadoop包括Hadoop Distributed File System (HDFS)、MapReduce框架和通用的實(shí)用工具，是一種適用于數(shù)據(jù)密集型應(yīng)用的軟件框架，可用于開發(fā)分布式計(jì)算環(huán)境
  • Pig是用于Hadoop的一種高級編程語言和運(yùn)行時(shí)環(huán)境
  • Jaql是基于JavaScript Object Notation (JSON)的一種高級查詢語言，也支持SQL
  • Hive是一種數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，設(shè)計(jì)用于支持批量查詢和分析Hadoop管理的文件
  • HBase是一種以列為主的數(shù)據(jù)存儲(chǔ)環(huán)境，設(shè)計(jì)用于支持Hadoop中的稀疏填充的大型表格
  • Flume是一種用來數(shù)據(jù)收集并將其加載到Hadoop中的工具
  • Lucene是一種文本搜索和索引技術(shù)
  • Avro是一種數(shù)據(jù)序列化技術(shù)
  • ZooKeeper是分布式應(yīng)用程序的一種協(xié)作服務(wù)
  • Oozie是工作流/作業(yè)編排技術(shù)

    除了開源技術(shù)，BigInsights還包含了IBM開發(fā)的定制技術(shù)：一個(gè)文本分析引擎、一個(gè)用于商業(yè)分析的數(shù)據(jù)挖掘工具，以實(shí)現(xiàn)與企業(yè)軟件的整合和Hadoop增強(qiáng)的效果。

IBM中國開發(fā)中心信息管理總經(jīng)理朱輝

      在IBM中國開發(fā)中心信息管理總經(jīng)理朱輝看來，BigInsights并沒有替代OLAP（Online Analytical Processing）或OLTP（Online Transaction Processing）應(yīng)用程序，但它可以整合其中，用于“過濾大量原始數(shù)據(jù)并合并結(jié)果，將結(jié)果以結(jié)構(gòu)化數(shù)據(jù)的形式保存在DBMS或數(shù)據(jù)倉庫中”。IBM的Hadoop解決方案已經(jīng)問世了，客戶可以進(jìn)行測試。

Hadoop無法單一解決大數(shù)據(jù)問題

     此外，朱輝認(rèn)為目前面臨的大數(shù)據(jù)分析和處理問題，業(yè)界需要一整套全面的解決方案?！爱?dāng)前任何一種單一的產(chǎn)品都無法完整解決面臨的大數(shù)據(jù)的問題和挑戰(zhàn)。現(xiàn)在行業(yè)當(dāng)中大家聽得最多的是Hadoop，但我不認(rèn)為基于任何一個(gè)例如Hadoop這樣的單一產(chǎn)品就能夠解決目前的問題。傳統(tǒng)的數(shù)據(jù)倉庫在這當(dāng)中仍然扮演一個(gè)非常重要的角色，至少是海量數(shù)據(jù)巨大的產(chǎn)生源?！?

     此外，據(jù)當(dāng)天與會(huì)的IBM Big Data開發(fā)資深經(jīng)理王遠(yuǎn)洪介紹，IBM CDL(中國開發(fā)實(shí)驗(yàn)室)的研發(fā)人員參與了BigInsights項(xiàng)目的全球研發(fā)，并積極幫助國內(nèi)客戶在本地驗(yàn)證IBM基于Hadoop的數(shù)據(jù)分析平臺(tái)項(xiàng)目。

IBM軟件集團(tuán)大中華區(qū)信息管理軟件總經(jīng)理盧偉權(quán)

     在當(dāng)天的活動(dòng)中，IBM軟件集團(tuán)大中華區(qū)信息管理軟件總經(jīng)理盧偉權(quán)介紹了本次中國程序員、數(shù)據(jù)庫工程師“2011 IBM DB2 遷移之星大賽”活動(dòng)情況。此次大賽于2011年9月20日在北京正式拉開帷幕，分為預(yù)賽、復(fù)賽、決賽三個(gè)階段。預(yù)賽采取了網(wǎng)上答題的方式進(jìn)行，選取成績最好的100名選手進(jìn)入復(fù)賽；進(jìn)入復(fù)賽的選手則根據(jù)地域、興趣自行組隊(duì)，按照組委會(huì)公布的應(yīng)用相關(guān)的方向和領(lǐng)域，向組委會(huì)提交團(tuán)隊(duì)的Proposal，由評委最終選出進(jìn)入決賽環(huán)節(jié)的10支隊(duì)伍，參加3月14日于北京進(jìn)行的總決賽。除獲得獎(jiǎng)金、證書等獎(jiǎng)勵(lì)外，競賽優(yōu)勝隊(duì)伍還將獲得參觀IBM美國實(shí)驗(yàn)室的機(jī)會(huì)。

    在早些時(shí)候，甲骨文也曾宣布其大數(shù)據(jù)系統(tǒng)Big Data Appliance將能夠支持Hadoop，而且微軟也暗示將在Azure云平臺(tái)和 Windows Server上對Hadoop進(jìn)行支持。此外，亞馬遜的Elastic MapReduce云服務(wù)也是基于Hadoop。可以相信，大數(shù)據(jù)的解決 方案會(huì)受到業(yè)界的極大關(guān)注。（本文來自：CDA數(shù)據(jù)分析師）

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }