99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時代大數(shù)據(jù)時代,大數(shù)據(jù)處理的成本控制不容小覷
大數(shù)據(jù)時代,大數(shù)據(jù)處理的成本控制不容小覷
2017-12-23
收藏

在大數(shù)據(jù)時代，最不缺伐的就是峰值流量的出現(xiàn)。一旦出現(xiàn)降價、打折或者平臺周年慶，當日的峰值流量將可能刷新平臺服務器承載上限，而這也意味著多種壓力共同提升，其中最容易被忽視的一部分在于數(shù)據(jù)。因為當天數(shù)據(jù)量會爆炸，如果不及時處理，這些數(shù)據(jù)的核心價值將會隨之而降低。



流量峰值帶來數(shù)據(jù)爆炸


從去年的數(shù)據(jù)來看，我國電商業(yè)務的交易額達到了22.97萬億元，同比增長25.5%。這種增長率也意味著數(shù)據(jù)量飆升，從服務器、網(wǎng)絡、物流、售后和品控等多個方面的數(shù)據(jù)都會產(chǎn)生壓力。


服務器與網(wǎng)絡的數(shù)據(jù)壓力將首當其沖。每次活動前夕，程序員幾乎都要徹夜難眠，有時需要靠”玄學”祈禱才能幫助服務器度過難關。即便云服務器準備再充分，擴容再強，也很難保證千軍萬馬同一秒沖入活動界面時不會出問題。


商業(yè)促銷是各種數(shù)據(jù)的爆炸點


相應的，商業(yè)促銷也會帶動物流方面的數(shù)據(jù)的爆炸。去年我國快遞企業(yè)營收為4005億元，同比2015年增長44.6%。如此大量的訂單不僅存在的交通、工作人員等方面的難題，還有物流信息的處理、同步和管理等大量的難題。


品控和售后是對平臺品牌的保障，如果這兩步出了問題，那么平臺就會面臨口碑下滑，甚至活動起到相反的效果。而在活動期間，進行品控和售后都絕非簡單，這些數(shù)據(jù)的產(chǎn)生和消化都在考驗著工作人員和官方平臺的協(xié)調能力。


數(shù)據(jù)資源面臨時間考驗


在這些方面產(chǎn)生的大量數(shù)據(jù)之后，把活動期間產(chǎn)生的大數(shù)據(jù)簡單的統(tǒng)計然后丟棄顯然是一種資源浪費。想讓這些數(shù)據(jù)資源實現(xiàn)價值，在存儲、處理和分析等方面都存在不小的難題。


第一，活動期間，企業(yè)將全面面臨人手不足的問題。因此程序員、運維人員和系統(tǒng)管理人員常常顧此失彼，數(shù)據(jù)處理和分析人員又不能招收臨時工應急，反還會被外借到其他部門去做緊急處理，從而讓大量的活動峰值數(shù)據(jù)面臨擱置危機。


第二，活動期間是一個數(shù)據(jù)爆發(fā)點，這些數(shù)據(jù)具有大流量、高并發(fā)和急需求等多種特點。原本慢條斯理的數(shù)據(jù)處理工作面臨轉瞬即逝的問題，簡單來講這就像把一個月的工作堆積到一天去完成，數(shù)據(jù)處理難上加難。


第三，數(shù)據(jù)處理等不得。事實上，所有的大數(shù)據(jù)都具有等不得的特點，數(shù)據(jù)的價值保質期僅有三個月，而以一些時效性較強的商業(yè)數(shù)據(jù)迭代速度更快，如果得不到處理，那么消耗大量資源存儲的商業(yè)數(shù)據(jù)自身價值就會急速下滑，對企業(yè)的指導作用都會相應的下降。


89.jpg


數(shù)據(jù)處理要成本把控


平臺開展促銷活動不僅僅是為用戶著想，也是對自身負載上限的一次考驗。在未來幾年中，我國的物流行業(yè)將會進入日均1億快件的節(jié)奏，這就意味著訂單量會爆發(fā)性增加，物流頻次加速，數(shù)據(jù)量繼續(xù)上升，數(shù)據(jù)處理的提速和降耗將會變成急需解決的問題。


數(shù)據(jù)處理提速目前提倡的是流式大數(shù)據(jù)處理，流式處理的優(yōu)勢在于借助開源的分布式系統(tǒng)，運行數(shù)據(jù)流代碼時，分配數(shù)據(jù)到容錯力高的計算機中并行運行，從而達到低延遲、可擴展和容錯率高的目的。但這種處理方式最大的限制在于成本過高，尤其是對于超大量數(shù)據(jù)應用流式數(shù)據(jù)處理會讓平臺得不償失，以此處理所得的數(shù)據(jù)價值未必比成本更高。


數(shù)據(jù)處理降耗則是指降低在數(shù)據(jù)處理過程中的人力和財力消耗。在促銷活動期間，用人緊張導致人力資源價值提升，這就需要在數(shù)據(jù)價值和人力價值之間尋找平衡點；同時無法處理的數(shù)據(jù)在存儲和管理方面的成本也需要納入考慮范圍。


解決數(shù)據(jù)問題需要從多個層面來考慮：人力方面，數(shù)據(jù)價值是不可忽視的一部分，專業(yè)人從事專業(yè)事，讓人的價值最大化發(fā)揮；技術層面，將人工智能的深度學習和機器學習技術深化與大數(shù)據(jù)技術的結合，讓人在大數(shù)據(jù)處理流程中只指揮，不執(zhí)行，把計算力還給云和HPC；數(shù)據(jù)層面，強化數(shù)據(jù)分流，將時效性明顯的數(shù)據(jù)優(yōu)先處理，并且有選擇的進行數(shù)據(jù)清洗，降低存儲和管理成本，提高處理效率。



數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調，回調的第一個參數(shù)驗證碼對象，之后可以使用它調用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }