99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀Storm常見問題及解決方案總結(jié)
Storm常見問題及解決方案總結(jié)
2016-03-19
收藏

Storm常見問題及解決方案總結(jié)

Storm 是一個開源的、大數(shù)據(jù)處理系統(tǒng)，與其他大數(shù)據(jù)解決方案的不同之處在于它的處理方式。Hadoop 在本質(zhì)上是一個批處理系統(tǒng)。數(shù)據(jù)被引入 Hadoop 文件系統(tǒng) (HDFS) 并分發(fā)到各個節(jié)點(diǎn)進(jìn)行處理。當(dāng)處理完成時，結(jié)果數(shù)據(jù)返回到 HDFS 供始發(fā)者使用。Storm 支持創(chuàng)建拓?fù)浣Y(jié)構(gòu)來轉(zhuǎn)換沒有終點(diǎn)的數(shù)據(jù)流。不同于 Hadoop 作業(yè)，這些轉(zhuǎn)換從不停止，它們會持續(xù)處理到達(dá)的數(shù)據(jù)。

storm常見問題總結(jié) storm異常問題 storm錯誤 storm問題解決方案


1、storm集群配置JDK環(huán)境變量問題

問題分析：在linux系統(tǒng)下配置JDK后一般修改/etc/profile值進(jìn)行環(huán)境變量配置，但是安裝storm集群時會出現(xiàn)問題

問題解決：需要在/etc/.bashrc文件中也加入環(huán)境變量不然安裝的JDK無法使用。


2、supervisor相關(guān)問題

1)安裝后supervisor名稱相同并且啟動報錯問題

問題分析：supervisor.cji中有行代碼如下：

1

此代碼是在啟動supervisor時會找本機(jī)的hostname。

問題解決：修改每天機(jī)器的hostname與其相對應(yīng)即可。


2)啟動Supervisor 時，出現(xiàn)java.lang.UnsatisfiedLinkError異常

具體錯誤信息如下：

1
2
3
啟動Supervisor 時，出現(xiàn)java.lang.UnsatisfiedLinkError:
/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object
file: No such file or directory 異常。

問題分析：未找到zmq 動態(tài)鏈接庫。

問題解決1：配置環(huán)境變量 export LD_LIBRARY_PATH=/usr/local/lib

問題解決2：編輯/etc/ld.so.conf 文件，增加一行：/usr/local/lib，再次執(zhí)行即可

使用sudo ldconfig 命令，重啟Supervisor


3、發(fā)布topologies時，序列化log4j.Logger異常

問題分析：日志系統(tǒng)無法正確正確處理序列化操作

問題解決：使用slf4j替換log4j日志jar包處理


4、提交topology時出現(xiàn)如下異常：

1
2
3
4
5
6
Exception in thread "main" java.lang.IllegalArgumentException: xxx host is not set 
        at backtype.storm.utils.NimbusClient.(NimbusClient.java:30) 
        at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71) 
        at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)

問題分析：啟動nimbus沒有問題，異常原因是conf_dir路徑設(shè)置錯誤

問題解決：修改bin/storm腳本，增加如下代碼：

1
CONF_DIR = STORM_DIR + "/conf"


5、在使用storm0.7一下版本時，時間長會出現(xiàn)outofmenmory

問題分析：低于storm0.7版本的沒觸發(fā)一個tuple會創(chuàng)建一個hashmap存儲該tuple所在的消息樹結(jié)構(gòu)，長時間會給gc造成巨大的壓力導(dǎo)致出現(xiàn)outofmemory

問題解決：升級storm版本即可解決問題。


6、storm連接mysql數(shù)據(jù)庫報異常

連接遠(yuǎn)程mysql數(shù)據(jù)庫時報如下錯誤：

1
message from server:"Host FILTER" is not allowed to connect to this MySQL server

問題分析：可能是沒有給其IP訪問Mysql數(shù)據(jù)庫權(quán)限導(dǎo)致

問題解決：登錄mysql數(shù)據(jù)庫，執(zhí)行如下命令：

1
grant all on *.* to root@'%' identified by "123456";

此操作是給任意IP地址賦予訪問權(quán)限（命令中*.*是通配任何IP，可指定IP 用戶名：root 密碼：123456）

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }