99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀大數(shù)據(jù)技術(shù)在環(huán)境信息中的應(yīng)用
大數(shù)據(jù)技術(shù)在環(huán)境信息中的應(yīng)用
2015-11-06
收藏

大數(shù)據(jù)技術(shù)在環(huán)境信息中的應(yīng)用


　　近年來(lái), 隨著全球環(huán)境氣候的日益嚴(yán)峻,水污染事件的頻發(fā), 世界各國(guó)不斷加大對(duì)環(huán)境保護(hù)的力度, 迫切需要通過(guò)環(huán)境信息化手段和環(huán)境監(jiān)測(cè)能力的提高來(lái)為政府相關(guān)部門(mén)在保護(hù)環(huán)境、規(guī)劃社會(huì)發(fā)展等方面提供決策所需要的信息支持. 隨著科學(xué)研究、通信技術(shù)、IT 技術(shù)的迅速發(fā)展, 尤其是遙感、GIS、傳感網(wǎng)和射頻技術(shù)等現(xiàn)代技術(shù)的更是得到迅猛發(fā)展, 全面拓展了環(huán)境監(jiān)測(cè)的時(shí)空尺度, 導(dǎo)致環(huán)境監(jiān)測(cè)數(shù)據(jù)的種類(lèi)和數(shù)量呈現(xiàn)爆炸式增長(zhǎng), 而支撐政府相關(guān)決策科學(xué)性、準(zhǔn)確性的基礎(chǔ)依賴(lài)于對(duì)海量監(jiān)測(cè)數(shù)據(jù)采集、傳輸和存儲(chǔ),以及對(duì)海量數(shù)據(jù)的快速處理分析.

　　1 大數(shù)據(jù)技術(shù)的研究

　　1.1 大數(shù)據(jù)的定義

　　2011 年5 月全球知名咨詢公司麥肯錫發(fā)布報(bào)告《Big data:The next frontier for innovation, competitionand productivity》[1], 報(bào)告中闡述了大數(shù)據(jù)的潛在巨大價(jià)值以及大數(shù)據(jù)技術(shù)的重要性.目前, 對(duì)大數(shù)據(jù)還沒(méi)有明確的定義, 但較為主流的認(rèn)識(shí)是大數(shù)據(jù)應(yīng)具有以下四個(gè)基本特征[2-4]: 數(shù)據(jù)規(guī)模大; 數(shù)據(jù)種類(lèi)多; 數(shù)據(jù)要求處理速度快; 數(shù)據(jù)價(jià)值密度低, 但價(jià)值高.大數(shù)據(jù)本身是一種現(xiàn)象而不是一種技術(shù), 但是伴隨著數(shù)據(jù)的采集、傳輸、處理和分析的相關(guān)技術(shù)則是大數(shù)據(jù)處理技術(shù), 亦稱(chēng)大數(shù)據(jù)技術(shù).

　　1.2 大數(shù)據(jù)處理分析流程

　　整個(gè)大數(shù)據(jù)的處理流程[2]可以定義為: 在合適工具的輔助下, 對(duì)廣泛異構(gòu)的數(shù)據(jù)源進(jìn)行抽取和集成,結(jié)果按照一定的標(biāo)準(zhǔn)進(jìn)行統(tǒng)一存儲(chǔ), 根據(jù)處理的數(shù)據(jù)類(lèi)型和分析目標(biāo), 采用合適的算法模型快速處理數(shù)據(jù),并利用合適的數(shù)據(jù)分析技術(shù)對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行分析,從中提取有益的知識(shí)并利用恰當(dāng)?shù)姆绞綄⒔Y(jié)果展現(xiàn)給終端用戶.

\

　　1.2.1 數(shù)據(jù)預(yù)處理.在進(jìn)行存儲(chǔ)和處理之前, 一般會(huì)采用ETL 技術(shù)將數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行抽取(Extract)后經(jīng)過(guò)數(shù)據(jù)轉(zhuǎn)換(Transform)加載(Load)到數(shù)據(jù)倉(cāng)庫(kù)或者數(shù)據(jù)中心.

　　1.2.2 存儲(chǔ)管理.數(shù)據(jù)經(jīng)過(guò)ETL 處理后存放在數(shù)據(jù)庫(kù)或者利用谷歌文件系統(tǒng)和Hadoop 的分布式文件系統(tǒng), 這類(lèi)分布式存儲(chǔ)系統(tǒng)采用了分布式架構(gòu), 既能達(dá)到較高的并發(fā)訪問(wèn)能力又具有較高的可擴(kuò)展性、靈活性.

　　1.2.3 計(jì)算處理.對(duì)大數(shù)據(jù)進(jìn)行處理需要消耗大量的計(jì)算機(jī)資源,這對(duì)機(jī)器的運(yùn)算速度和成本都提出了更高的要求, 顯然采用分布式并行處理技術(shù)是最佳選擇, MapReduce框架可以用一系列廉價(jià)的機(jī)器構(gòu)成, 在成本、可擴(kuò)展性和處理速度上有著巨大的優(yōu)勢(shì).

　　1.2.4 數(shù)據(jù)分析.數(shù)據(jù)分析是指從大量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律提取新知識(shí),它是大數(shù)據(jù)處理流程的核心, 是大數(shù)據(jù)的價(jià)值體現(xiàn).在計(jì)算處理后, 對(duì)傳統(tǒng)數(shù)據(jù)挖掘算法改進(jìn)優(yōu)化, 建立數(shù)學(xué)模型, 進(jìn)行數(shù)據(jù)分析.

　　1.2.5 數(shù)據(jù)展現(xiàn).以更直觀和互動(dòng)的方式展示分析結(jié)果, 便于人們理解. 大數(shù)據(jù)分析系統(tǒng)應(yīng)該提供數(shù)據(jù)分析、查詢機(jī)制等一系列功能, 并以可視化的方式呈現(xiàn)給最終用戶.可視化技術(shù)可采用與Web 技術(shù)相結(jié)合, 以圖表或圖像的形式呈現(xiàn).

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }