99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時代分布式集群參數(shù)master節(jié)點：DataNode、NameNode等相關配置
分布式集群參數(shù)master節(jié)點：DataNode、NameNode等相關配置
2020-06-03
收藏

之前的文章中我們已經(jīng)將master節(jié)點的網(wǎng)絡IP、hostname文件、hosts文件配置完成，接下來還有hadoop相關配置文件需要修改。今天我們來講master節(jié)點hadoop的配置。

1、hdfs-site.xml

在hadoop的配置文件中與HDFS(hadoop分布式文件系統(tǒng))相關的是hdfs-core.xml文件。在偽分布集群中只有一個節(jié)點，因此此節(jié)點即要有NameNode功能也要有DataNode功能。在工作環(huán)境中這兩個是不會在一個節(jié)點上的，在我們的多節(jié)點分布式集群中master只運行NameNode因此需在hdfs-site.xml文件中刪除DataNode相關配置。

打開虛擬機在終端中輸入cd hadoop/etc/hadoop 命令進入hadoop配置文件目錄。

終端輸入命令vim hdfs-site.xml進入vim編輯界面，按下圖步驟刪除原來偽分布集群配置的DataNode相關配置，并將數(shù)據(jù)冗余數(shù)量設置為2。

輸入i進入編輯模式，編輯后的文件內(nèi)容如下所示。

最后退出編輯模式，保存并退出。

2、core-site.xml

在core-site.xml中指定一個節(jié)點運行hdfs服務。在之前偽分布集群中只有一個節(jié)點，因此我們使用的是localhost,如今在集群中有三個節(jié)點，我們約定使用master。

在終端中輸入vim core-site.xml按下圖操作修改配置文件。

修改后內(nèi)容如下所示

記得退出并保存。

3、yarn-site.xml

在yarn-site.xml里可以修改與資源管理模塊YARN相關的一些配置。

終端中輸入 vim yarn-site.xml進行以下更改，將資源調(diào)度管理任務放置于master節(jié)點上

最終修改后的文件內(nèi)容如下圖所示。

4、mapred-site.xml

進行以下更改，主要添加mapreduce運行歷史記錄監(jiān)控端口和網(wǎng)頁端口。

同樣，在終端輸入vim mapred-site.xml開始編輯配置文件，配置內(nèi)容如下所示

最后保存并退出。

5、slaves

slaves文件指明哪些節(jié)點運行DateNode進程，這里我們的集群中運行DataNode進程的節(jié)點有slave1、slave2。因此需將這兩節(jié)點保存到slaves文件中。

在終端中輸入 vim slaves命令編輯文件，編輯后的文件內(nèi)容如下圖所示。

最后保存slaves文件并退出編輯。到這里master節(jié)點上的hadoop相關配置已經(jīng)完成了。

接下來我們要通過克隆master及slave1虛擬機來擴展集群。

6、生成slave1節(jié)點

通過克隆master 生成slave1節(jié)點的過程與之前克隆偽分布節(jié)點的操作是一致的這里不再贅述，唯一區(qū)別是在執(zhí)行到下圖步驟時注意將虛擬機名稱設置為slave1并選擇正確的存儲位置方便管理。還有一點，被克隆的虛擬機一定要關機狀態(tài)才可以被克隆。

slave1節(jié)點與master節(jié)點在hostname、IP地址、Hadoop配置這幾個方面是有些差異的，在復制好slave1節(jié)點之后需進行配置。

6.1 配置IP地址

在前面文章中提到過slave1節(jié)點IP地址應設置為固定的值：192.168.79.12。詳細的配置方法步驟已經(jīng)在配置master節(jié)點時介紹過，配置slave1節(jié)點時可以參考一下。修改完成后的配置結(jié)果如下圖所示，點擊save保存即可。

6.2、修改hostname

保存并退出

6.3、修改Hadoop配置項

hdfs-site.xml

保存并退出之后重啟slave1節(jié)點查看配置是否生效。

7、生成slave2節(jié)點

Slave2與slave1在Hadoop相關配置內(nèi)容上是一致的，因此通過克隆slave1節(jié)點來生成slave2可以減少一些操作步驟。

克隆slave1節(jié)點時的操作步驟同樣參考之前文章內(nèi)容，區(qū)別是執(zhí)行到下圖步驟時記得更改虛擬機名稱為slave2并更改存儲目錄（存儲目錄自己定義）。

7.1、配置IP地址

克隆完成后打開slave2虛擬機并配置其IP地址。配置過程與之前配置master節(jié)點IP過程一致，只是IP地址需改為192.168.79.13結(jié)果如下圖所示，點擊save保存即可。

更改Hostname，在終端中輸入sudo vim /etc/hostname并回車執(zhí)行，根據(jù)提示輸入密碼

輸入i編輯hostname文件，文件內(nèi)容如下所示為slave2，然后保存退出。

重啟虛擬機測試配置是否生效，重啟命令為sudo reboot

slave2重新啟動后打開終端，輸入命令ifconfig查看IP設置及虛擬機名，如下圖所示配置已經(jīng)生效。

到這里我們的hadoop集群安裝配置完成。接下來的文章我會給大家介紹一下hadoop集群如如何啟動。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }