99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀Storm常見(jiàn)問(wèn)題及解決方案總結(jié)
Storm常見(jiàn)問(wèn)題及解決方案總結(jié)
2016-03-19
收藏

Storm常見(jiàn)問(wèn)題及解決方案總結(jié)

Storm 是一個(gè)開(kāi)源的、大數(shù)據(jù)處理系統(tǒng)，與其他大數(shù)據(jù)解決方案的不同之處在于它的處理方式。Hadoop 在本質(zhì)上是一個(gè)批處理系統(tǒng)。數(shù)據(jù)被引入 Hadoop 文件系統(tǒng) (HDFS) 并分發(fā)到各個(gè)節(jié)點(diǎn)進(jìn)行處理。當(dāng)處理完成時(shí)，結(jié)果數(shù)據(jù)返回到 HDFS 供始發(fā)者使用。Storm 支持創(chuàng)建拓?fù)浣Y(jié)構(gòu)來(lái)轉(zhuǎn)換沒(méi)有終點(diǎn)的數(shù)據(jù)流。不同于 Hadoop 作業(yè)，這些轉(zhuǎn)換從不停止，它們會(huì)持續(xù)處理到達(dá)的數(shù)據(jù)。

storm常見(jiàn)問(wèn)題總結(jié) storm異常問(wèn)題 storm錯(cuò)誤 storm問(wèn)題解決方案


1、storm集群配置JDK環(huán)境變量問(wèn)題

問(wèn)題分析：在linux系統(tǒng)下配置JDK后一般修改/etc/profile值進(jìn)行環(huán)境變量配置，但是安裝storm集群時(shí)會(huì)出現(xiàn)問(wèn)題

問(wèn)題解決：需要在/etc/.bashrc文件中也加入環(huán)境變量不然安裝的JDK無(wú)法使用。


2、supervisor相關(guān)問(wèn)題

1)安裝后supervisor名稱(chēng)相同并且啟動(dòng)報(bào)錯(cuò)問(wèn)題

問(wèn)題分析：supervisor.cji中有行代碼如下：

1

此代碼是在啟動(dòng)supervisor時(shí)會(huì)找本機(jī)的hostname。

問(wèn)題解決：修改每天機(jī)器的hostname與其相對(duì)應(yīng)即可。


2)啟動(dòng)Supervisor 時(shí)，出現(xiàn)java.lang.UnsatisfiedLinkError異常

具體錯(cuò)誤信息如下：

1
2
3
啟動(dòng)Supervisor 時(shí)，出現(xiàn)java.lang.UnsatisfiedLinkError:
/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object
file: No such file or directory 異常。

問(wèn)題分析：未找到zmq 動(dòng)態(tài)鏈接庫(kù)。

問(wèn)題解決1：配置環(huán)境變量 export LD_LIBRARY_PATH=/usr/local/lib

問(wèn)題解決2：編輯/etc/ld.so.conf 文件，增加一行：/usr/local/lib，再次執(zhí)行即可

使用sudo ldconfig 命令，重啟Supervisor


3、發(fā)布topologies時(shí)，序列化log4j.Logger異常

問(wèn)題分析：日志系統(tǒng)無(wú)法正確正確處理序列化操作

問(wèn)題解決：使用slf4j替換log4j日志jar包處理


4、提交topology時(shí)出現(xiàn)如下異常：

1
2
3
4
5
6
Exception in thread "main" java.lang.IllegalArgumentException: xxx host is not set 
        at backtype.storm.utils.NimbusClient.(NimbusClient.java:30) 
        at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71) 
        at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)

問(wèn)題分析：?jiǎn)?dòng)nimbus沒(méi)有問(wèn)題，異常原因是conf_dir路徑設(shè)置錯(cuò)誤

問(wèn)題解決：修改bin/storm腳本，增加如下代碼：

1
CONF_DIR = STORM_DIR + "/conf"


5、在使用storm0.7一下版本時(shí)，時(shí)間長(zhǎng)會(huì)出現(xiàn)outofmenmory

問(wèn)題分析：低于storm0.7版本的沒(méi)觸發(fā)一個(gè)tuple會(huì)創(chuàng)建一個(gè)hashmap存儲(chǔ)該tuple所在的消息樹(shù)結(jié)構(gòu)，長(zhǎng)時(shí)間會(huì)給gc造成巨大的壓力導(dǎo)致出現(xiàn)outofmemory

問(wèn)題解決：升級(jí)storm版本即可解決問(wèn)題。


6、storm連接mysql數(shù)據(jù)庫(kù)報(bào)異常

連接遠(yuǎn)程mysql數(shù)據(jù)庫(kù)時(shí)報(bào)如下錯(cuò)誤：

1
message from server:"Host FILTER" is not allowed to connect to this MySQL server

問(wèn)題分析：可能是沒(méi)有給其IP訪問(wèn)Mysql數(shù)據(jù)庫(kù)權(quán)限導(dǎo)致

問(wèn)題解決：登錄mysql數(shù)據(jù)庫(kù)，執(zhí)行如下命令：

1
grant all on *.* to root@'%' identified by "123456";

此操作是給任意IP地址賦予訪問(wèn)權(quán)限（命令中*.*是通配任何IP，可指定IP 用戶名：root 密碼：123456）

數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢(xún)
客服在線
立即咨詢(xún)
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }