99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析
大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析
2015-10-10
收藏

大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析




數(shù)據(jù)采集，就是使用某種技術(shù)或手段，將數(shù)據(jù)收集起來并存儲(chǔ)在某種設(shè)備上，這種設(shè)備可以是磁盤或磁帶。區(qū)別于普通的數(shù)據(jù)分析，大數(shù)據(jù)分析的數(shù)據(jù)采集在數(shù)據(jù)收集和存儲(chǔ)技術(shù)上都是不同的。具體情況如下：

1.大數(shù)據(jù)收集過程
在收集階段，大數(shù)據(jù)分析在時(shí)空兩個(gè)方面都有顯著的不同。在時(shí)間維度上，為了獲取更多的數(shù)據(jù)，大數(shù)據(jù)收集的時(shí)間頻度大一些，有時(shí)也叫數(shù)據(jù)采集的深度。在空間維度上，為了獲取更準(zhǔn)確的數(shù)據(jù)，數(shù)據(jù)采集點(diǎn)設(shè)置得會(huì)更密一些。

以收集一個(gè)面積為100平方米的葡萄園的平均溫度為例。小數(shù)據(jù)時(shí)代，由于成本的原因，葡萄園主只能在葡萄園的中央設(shè)置一個(gè)溫度計(jì)用來計(jì)算溫度，而且每一小時(shí)觀測(cè)一次，這樣一天就只有24個(gè)數(shù)據(jù)。而在大數(shù)據(jù)時(shí)代，在空間維度上，可以設(shè)置100個(gè)溫度計(jì)，即每個(gè)1平方米一個(gè)溫度計(jì)；在時(shí)間維度上，每隔1分鐘就觀測(cè)一次，這樣一天就有144000個(gè)數(shù)據(jù)，是原來的6000倍。
有了大量的數(shù)據(jù)，我們就可以更準(zhǔn)確地知道葡萄園的平均溫度，如果加上時(shí)間刻度的話，還可以得出一個(gè)時(shí)間序列的曲線，結(jié)果看起來使人很神往。

2.大數(shù)據(jù)的存儲(chǔ)技術(shù)
通過增加數(shù)據(jù)采集的深度和廣度，數(shù)據(jù)量越來越大，數(shù)據(jù)存儲(chǔ)問題就凸現(xiàn)。原來1TB的數(shù)據(jù)，可以使用一塊硬盤就可以實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)，而現(xiàn)在變成了6000TB，也就是需要6000塊硬盤來存放數(shù)據(jù)，而且這個(gè)數(shù)據(jù)是每天都是增加的。這個(gè)時(shí)候計(jì)算機(jī)技術(shù)中的分布式計(jì)算開始發(fā)揮優(yōu)勢(shì)，它可以將6000臺(tái)甚至更多的計(jì)算機(jī)組合在一起，讓它們的硬盤組合成一塊巨大的硬盤，這樣人們就不用再害怕大數(shù)據(jù)了，大數(shù)據(jù)再大，增加計(jì)算機(jī)就可以了。實(shí)現(xiàn)分布式計(jì)算的軟件有很多，名氣最大的，目前市場(chǎng)上應(yīng)用最廣的，就是hadoop技術(shù)了，更精確地說應(yīng)該是叫hadoop框架。

hadoop框架由多種功能性軟件組成，其自身只是搭建一個(gè)和操作系統(tǒng)打交道的平臺(tái)。其中最核心的軟件有兩個(gè)，一個(gè)是hdfs分布式文件系統(tǒng),另一個(gè)是mapreduce分布式計(jì)算。hdfs分布式文件系統(tǒng)完成的功能就是將6000臺(tái)計(jì)算機(jī)組合在一起，使它們的硬盤組合成一塊巨大的硬盤，至于數(shù)據(jù)如何在硬盤上存放和讀取，這件事由hadoop和hdfs共同完成，不用我們操心，這就如我們?cè)谑褂靡慌_(tái)計(jì)算機(jī)時(shí)只管往硬盤上存放數(shù)據(jù)，而數(shù)據(jù)存放在硬盤上的哪個(gè)磁道，我們是不用關(guān)心的。

mapredce分布式計(jì)算則就實(shí)現(xiàn)讓6000臺(tái)計(jì)算機(jī)一起協(xié)同工作起來，hadoop在設(shè)計(jì)mapredce時(shí)，最基本的思想就是讓分析師不用操心程序設(shè)計(jì)問題，這些問題需要和最底層的程序打交道的，且只有優(yōu)秀的程序員才能解決的，而是讓大數(shù)據(jù)分析師專注于業(yè)務(wù)流程進(jìn)行簡單的mapredce程序編寫，也就是說大數(shù)據(jù)分析師只需要知道簡單的mapreduce程序設(shè)計(jì)流程就可以了，不需要成為優(yōu)秀的JAVA、Python程序員。hadoop框架的這種簡單的設(shè)計(jì)思想，再加上它開源的特性，使其一開始就受到很多主流的互聯(lián)網(wǎng)公司所采用，接下來的事情就順理成章了，它成為全球最成功的解決大數(shù)據(jù)分析的分布式計(jì)算技術(shù)。

區(qū)別于小數(shù)據(jù)采集，大數(shù)據(jù)采集不再僅僅使用問卷調(diào)查、信息系統(tǒng)的數(shù)據(jù)庫取得結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)的來源有很多，主要包括使用網(wǎng)絡(luò)爬蟲取得的網(wǎng)頁文本數(shù)據(jù)、使用日志收集器收集的日志數(shù)據(jù)、從關(guān)系型數(shù)據(jù)庫中取得的數(shù)據(jù)和由傳感器收集到的時(shí)空數(shù)據(jù)等等，而一些圖像和語音數(shù)據(jù)由于需要高端技術(shù)才能使其變成可以被普通的大數(shù)據(jù)分析師所需要的數(shù)據(jù)而變得不那么親切，因此從現(xiàn)有的應(yīng)用看可以暫時(shí)不用考慮。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }