99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁職業(yè)發(fā)展迪士尼如何從零開始打造大數(shù)據(jù)平臺_數(shù)據(jù)分析師培訓(xùn)
迪士尼如何從零開始打造大數(shù)據(jù)平臺_數(shù)據(jù)分析師培訓(xùn)
2015-04-04
收藏

迪士尼如何從零開始打造大數(shù)據(jù)平臺_數(shù)據(jù)分析師培訓(xùn)


毋庸置疑，迪士尼是一個巨大的娛樂公司，但是當(dāng)它涉及到大數(shù)據(jù)平臺，這位娛樂巨頭看起來更像是一個初創(chuàng)公司。很多小公司，依靠堅強(qiáng)的意志和不凡的智慧，憑借一個小小的團(tuán)隊，使用Hadoop、NoSQL數(shù)據(jù)庫和其他開源技術(shù)，完全能夠創(chuàng)造出一個特有的大數(shù)據(jù)平臺。無論結(jié)果是更好或者更壞，這樣的大公司在進(jìn)軍大數(shù)據(jù)領(lǐng)域，意味著這是一種完全不同規(guī)則的“玩法”。

迪斯尼大數(shù)據(jù)技術(shù)和服務(wù)解決方案團(tuán)隊的負(fù)責(zé)人Arun Jacob，在上周四的波士頓的IE集團(tuán)大數(shù)據(jù)創(chuàng)新峰會上，介紹了迪斯尼的大數(shù)據(jù)平臺。不像其他的公司，迪斯尼選擇打造大數(shù)據(jù)平臺是從零開始自主打造，而非從一個軟件供應(yīng)商那里購買軟件。盡管購買成本高昂是一個很重要的因素，但最關(guān)鍵的還是靈活性的問題，這才是作出最終決定的根本原因。

減量化，重復(fù)利用，再循環(huán)
為了保證給公司帶來最大的價值，迪士尼大數(shù)據(jù)平臺，凝結(jié)了每個員工的心血，它是每個人的一切，這是一項艱巨的任務(wù)。最初的時候，Jacob表示，“我們把我們自己當(dāng)做是一個小型的咨詢機(jī)構(gòu)，僅僅是我們有東西要賣?！辈贿^當(dāng)一個部門想要使用該平臺開發(fā)一個特定功能的時候，Jacob立刻行動了起來。
從架構(gòu)上來說，通過這個平臺和具有特定目的的組件，它能夠?qū)β窂綌?shù)據(jù)進(jìn)行重構(gòu)，或者說能夠非常容易地替換組件，如果有更好的話。迪士尼大數(shù)據(jù)平臺是基于Hadoop，Cassandra和MongoDB進(jìn)行開發(fā)的。運營團(tuán)隊可以使用該平臺來進(jìn)行查看、分析和索引的錯誤消息，應(yīng)用程序開發(fā)人員可以得到他們需要的高吞吐量，低延遲的數(shù)據(jù)訪問，而分析團(tuán)隊有他們需要的高延遲數(shù)據(jù)的訪問。


然而，盡管Jacob也想使用一套開源軟件來降低成本，他確實有資本可以奢侈一下，這是大多數(shù)創(chuàng)業(yè)公司玩不起的——外包和不定期的新產(chǎn)品的預(yù)算。當(dāng)他需要Hadoop集群的支持，他完全可以打電話給Cloudera。當(dāng)需要部署Solandra（基于Solr和Cassandra的一個開放的源代碼搜索引擎），他完全可以購買的企業(yè)版的DataStax基于Cassandra的產(chǎn)品，但是他沒有這么做。

靈活性是不是免費的
Solandra的事件，實際上是為了權(quán)衡是不是需要使用免費的開源軟件。“你可以為開源項目工作到深夜，你可以通過學(xué)習(xí)來運行它們，但是這沒有任何任何意義?！盝acob表示，如果你愿意投入時間和精力，這些東西是完全可以克服的。
然而迪士尼這種規(guī)模的公司，有更多的問題必須要被克服。Jacob表示，在部署的過程中，雖然可以按自己的方式來解決容錯、高可用性和安全性的問題，但是最終還是需要找出一種方式來實現(xiàn)這些東西。

適合大眾的才是最好的
雖然可以把系統(tǒng)建立在所有的人都能夠使用的開源軟件上，不過這也意味著沒有一個足夠的框架來構(gòu)建一個可擴(kuò)展的和穩(wěn)定的系統(tǒng)，而且該系統(tǒng)還必須滿足成千上萬的各種類型和各種水平的內(nèi)部開發(fā)人員的需求。Jacob表示，對一個擁有六個人的創(chuàng)業(yè)公司來說，大家學(xué)習(xí)Hadoop的一個月，然后開始使用它進(jìn)行部署大數(shù)據(jù)平臺，這是非常容易實現(xiàn)的。但是對于一個大企業(yè)來說，這絕對是不可行的。

他的團(tuán)隊讓部署變得容易
為了消除企業(yè)用戶不能加載他們的數(shù)據(jù)到系統(tǒng)中的借口，他們只需要把文件以指向用戶定制的界面。Jacob表示，迪士尼的數(shù)據(jù)平臺，雖然以每天5TB的數(shù)據(jù)劇增，但是仍然有很多其他類型的數(shù)據(jù)需要存儲。因為他們已經(jīng)對技術(shù)進(jìn)行了封裝，Jacob的團(tuán)隊并沒有談及過多關(guān)于Hadoop和MongoDB的問題，僅僅是提及了分析和查詢的部分。數(shù)據(jù)平臺使用很多種的編程語言來構(gòu)建客戶端的框架結(jié)構(gòu)，所以開發(fā)者可以跟平臺進(jìn)行交互，就無需編寫REST風(fēng)格的API調(diào)用。

不過，在做足了所有的準(zhǔn)備工作之后，Jacob開始把精力投入在迪士尼的大數(shù)據(jù)平臺之上，Jacob不希望這是一個其他數(shù)據(jù)平臺過程的重復(fù)。隨著大數(shù)據(jù)管理的工具也越來越好，Jacob表示，他現(xiàn)在依然在分析，是構(gòu)建一個新的工具還購買一個工具，目前還有時間來做出改變。當(dāng)沒有選擇余地的時候，構(gòu)建一個自定義工具固然是一個不錯的選擇，但它并不總是明智的做法，而購買現(xiàn)成的東西可以節(jié)約無數(shù)的時間和精力

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }