99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時(shí)代分布式集群參數(shù)master節(jié)點(diǎn)：DataNode、NameNode等相關(guān)配置
分布式集群參數(shù)master節(jié)點(diǎn)：DataNode、NameNode等相關(guān)配置
2020-06-03
收藏

之前的文章中我們已經(jīng)將master節(jié)點(diǎn)的網(wǎng)絡(luò)IP、hostname文件、hosts文件配置完成，接下來還有hadoop相關(guān)配置文件需要修改。今天我們來講master節(jié)點(diǎn)hadoop的配置。

1、hdfs-site.xml

在hadoop的配置文件中與HDFS(hadoop分布式文件系統(tǒng))相關(guān)的是hdfs-core.xml文件。在偽分布集群中只有一個(gè)節(jié)點(diǎn)，因此此節(jié)點(diǎn)即要有NameNode功能也要有DataNode功能。在工作環(huán)境中這兩個(gè)是不會在一個(gè)節(jié)點(diǎn)上的，在我們的多節(jié)點(diǎn)分布式集群中master只運(yùn)行NameNode因此需在hdfs-site.xml文件中刪除DataNode相關(guān)配置。

打開虛擬機(jī)在終端中輸入cd hadoop/etc/hadoop 命令進(jìn)入hadoop配置文件目錄。

終端輸入命令vim hdfs-site.xml進(jìn)入vim編輯界面，按下圖步驟刪除原來偽分布集群配置的DataNode相關(guān)配置，并將數(shù)據(jù)冗余數(shù)量設(shè)置為2。

輸入i進(jìn)入編輯模式，編輯后的文件內(nèi)容如下所示。

最后退出編輯模式，保存并退出。

2、core-site.xml

在core-site.xml中指定一個(gè)節(jié)點(diǎn)運(yùn)行hdfs服務(wù)。在之前偽分布集群中只有一個(gè)節(jié)點(diǎn)，因此我們使用的是localhost,如今在集群中有三個(gè)節(jié)點(diǎn)，我們約定使用master。

在終端中輸入vim core-site.xml按下圖操作修改配置文件。

修改后內(nèi)容如下所示

記得退出并保存。

3、yarn-site.xml

在yarn-site.xml里可以修改與資源管理模塊YARN相關(guān)的一些配置。

終端中輸入 vim yarn-site.xml進(jìn)行以下更改，將資源調(diào)度管理任務(wù)放置于master節(jié)點(diǎn)上

最終修改后的文件內(nèi)容如下圖所示。

4、mapred-site.xml

進(jìn)行以下更改，主要添加mapreduce運(yùn)行歷史記錄監(jiān)控端口和網(wǎng)頁端口。

同樣，在終端輸入vim mapred-site.xml開始編輯配置文件，配置內(nèi)容如下所示

最后保存并退出。

5、slaves

slaves文件指明哪些節(jié)點(diǎn)運(yùn)行DateNode進(jìn)程，這里我們的集群中運(yùn)行DataNode進(jìn)程的節(jié)點(diǎn)有slave1、slave2。因此需將這兩節(jié)點(diǎn)保存到slaves文件中。

在終端中輸入 vim slaves命令編輯文件，編輯后的文件內(nèi)容如下圖所示。

最后保存slaves文件并退出編輯。到這里master節(jié)點(diǎn)上的hadoop相關(guān)配置已經(jīng)完成了。

接下來我們要通過克隆master及slave1虛擬機(jī)來擴(kuò)展集群。

6、生成slave1節(jié)點(diǎn)

通過克隆master 生成slave1節(jié)點(diǎn)的過程與之前克隆偽分布節(jié)點(diǎn)的操作是一致的這里不再贅述，唯一區(qū)別是在執(zhí)行到下圖步驟時(shí)注意將虛擬機(jī)名稱設(shè)置為slave1并選擇正確的存儲位置方便管理。還有一點(diǎn)，被克隆的虛擬機(jī)一定要關(guān)機(jī)狀態(tài)才可以被克隆。

slave1節(jié)點(diǎn)與master節(jié)點(diǎn)在hostname、IP地址、Hadoop配置這幾個(gè)方面是有些差異的，在復(fù)制好slave1節(jié)點(diǎn)之后需進(jìn)行配置。

6.1 配置IP地址

在前面文章中提到過slave1節(jié)點(diǎn)IP地址應(yīng)設(shè)置為固定的值：192.168.79.12。詳細(xì)的配置方法步驟已經(jīng)在配置master節(jié)點(diǎn)時(shí)介紹過，配置slave1節(jié)點(diǎn)時(shí)可以參考一下。修改完成后的配置結(jié)果如下圖所示，點(diǎn)擊save保存即可。

6.2、修改hostname

保存并退出

6.3、修改Hadoop配置項(xiàng)

hdfs-site.xml

保存并退出之后重啟slave1節(jié)點(diǎn)查看配置是否生效。

7、生成slave2節(jié)點(diǎn)

Slave2與slave1在Hadoop相關(guān)配置內(nèi)容上是一致的，因此通過克隆slave1節(jié)點(diǎn)來生成slave2可以減少一些操作步驟。

克隆slave1節(jié)點(diǎn)時(shí)的操作步驟同樣參考之前文章內(nèi)容，區(qū)別是執(zhí)行到下圖步驟時(shí)記得更改虛擬機(jī)名稱為slave2并更改存儲目錄（存儲目錄自己定義）。

7.1、配置IP地址

克隆完成后打開slave2虛擬機(jī)并配置其IP地址。配置過程與之前配置master節(jié)點(diǎn)IP過程一致，只是IP地址需改為192.168.79.13結(jié)果如下圖所示，點(diǎn)擊save保存即可。

更改Hostname，在終端中輸入sudo vim /etc/hostname并回車執(zhí)行，根據(jù)提示輸入密碼

輸入i編輯hostname文件，文件內(nèi)容如下所示為slave2，然后保存退出。

重啟虛擬機(jī)測試配置是否生效，重啟命令為sudo reboot

slave2重新啟動后打開終端，輸入命令ifconfig查看IP設(shè)置及虛擬機(jī)名，如下圖所示配置已經(jīng)生效。

到這里我們的hadoop集群安裝配置完成。接下來的文章我會給大家介紹一下hadoop集群如如何啟動。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }