99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄

首頁大數據時代大數據分析師教程-1.2Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

大數據分析師教程-1.2Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

2024-10-13

大數據分析師教程-Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

Hadoop安裝、配置和啟動
- 解壓縮 Hadoop安裝包及設置環(huán)境變量
- 創(chuàng)建數據存放目錄
- 配置文件設置、環(huán)境變量、主從節(jié)點指定
- 復制 Hadoop到其它各個節(jié)點
- 推薦學習書籍

Hadoop安裝、配置和啟動

下載Hadoop，我們使用的版本是Hadoop2.7.3

解壓縮 Hadoop安裝包及設置環(huán)境變量

解壓縮 Hadoop安裝包，并且對安裝目錄進行重命名

cd /opt/linuxsir
tar -zxvf hadoop-2.7.3.tar.gz 
 
ls
mv hadoop-2.7.3 /opt/linuxsir/hadoop

在192.168.31.131虛擬機上編輯/root/.bashrc文件，然后復制到192.168.31.132、192.168.31.133

echo "" >> /root/.bashrc
echo "export HADOOP_PREFIX=/opt/linuxsir/hadoop" >> /root/.bashrc
echo "export HADOOP_HOME=$HADOOP_PREFIX" >> /root/.bashrc
echo "export HADOOP_COMMON_HOME=$HADOOP_PREFIX" >> /root/.bashrc
echo "export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop" >> /root/.bashrc
echo "export HADOOP_HDFS_HOME=$HADOOP_PREFIX" >> /root/.bashrc
echo "export HADOOP_MAPRED_HOME=$HADOOP_PREFIX" >> /root/.bashrc
echo "export HADOOP_YARN_HOME=$HADOOP_PREFIX" >> /root/.bashrc
echo "export PATH=$PATH:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin" >> /root/.bashrc
 
echo "export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"" >> /root/.bashrc
echo "export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native" >> /root/.bashrc
 
echo "export CLASSPATH=$CLASSPATH:/opt/linuxsir/hadoop/lib/*" >> /root/.bashrc
 
cat /root/.bashrc

\在192.168.31.131上，復制/root/.bashrc到132和133
scp -r /root/.bashrc root@192.168.31.132:/root/.bashrc
scp -r /root/.bashrc root@192.168.31.133:/root/.bashrc
 
\在192.168.31.131上，在131/132/133三臺機器上運行/root/.bashrc，刷新環(huán)境
cd 
source /root/.bashrc
ssh root@192.168.31.132 source /root/.bashrc
ssh root@192.168.31.133 source /root/.bashrc

創(chuàng)建數據存放目錄

cd /opt/linuxsir/hadoop                  \進入/opt/linuxsir/hadoop目錄
rm -rf /opt/linuxsir/hadoop/tmp
rm -rf /opt/linuxsir/hadoop/hdfs
mkdir /opt/linuxsir/hadoop/tmp           \創(chuàng)建tmp目錄
mkdir -p /opt/linuxsir/hadoop/hdfs/data /opt/linuxsir/hadoop/hdfs/name \創(chuàng)建hdfs的data、name子目錄
 
\還要針對hd-slave1,hd-slave2等兩個節(jié)點上執(zhí)行上述命令，然后再初始化hdfs
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/tmp
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/hdfs
ssh root@192.168.31.132 mkdir /opt/linuxsir/hadoop/tmp
ssh root@192.168.31.132 mkdir -p /opt/linuxsir/hadoop/hdfs/data /opt/linuxsir/hadoop/hdfs/name
 
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/tmp
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/hdfs
ssh root@192.168.31.133 mkdir /opt/linuxsir/hadoop/tmp
ssh root@192.168.31.133 mkdir -p /opt/linuxsir/hadoop/hdfs/data /opt/linuxsir/hadoop/hdfs/name

配置文件設置、環(huán)境變量、主從節(jié)點指定

對若干配置文件進行設置，保證Hadoop能夠正常啟動。

(1) 主要的配置文件包括HADOOP_HOME目錄下的

etc/hadoop/core-site.xml
etc/hadoop/hdfs-site.xml
etc/hadoop/yarn-site.xml
etc/hadoop/mapred-site.xml等文件

(2) 并且為如下文件配置環(huán)境變量

etc/hadoop/hadoop-env.sh
etc/hadoop/yarn-env.sh
etc/hadoop/mapred-env.sh等

(3)master和slave

masters
slaves

配置文件設置

編輯/opt/linuxsir/hadoop/etc/hadoop目錄下的core-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:///opt/linuxsir/hadoop/tmp</value>
</property>
 
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hd-master:9000</value><!-- NameNode URI -->
</property>
 
<property>
    <name>io.file.buffer.size</name>
    <value>131702</value>
</property>
</configuration>

編輯/opt/linuxsir/hadoop/etc/hadoop目錄下的hdfs-site.xml文件，內容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///opt/linuxsir/hadoop/hdfs/name</value> <!-- 本機name目錄for NameNode -->
</property>
 
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///opt/linuxsir/hadoop/hdfs/data</value> <!-- 本機data目錄for DataNode -->
</property>
 
<property>
    <name>dfs.replication</name> <!-- 數據塊副本數量 -->
    <value>2</value>
</property>
 
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
 
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hd-master:9001</value>
</property>
</configuration>

在/opt/linuxsir/hadoop/etc/hadoop目錄下，復制mapred-site.xml.template到mapred-site.xml，并且進行編輯

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value> <!--yarn or yarn-tez-->
</property>
 
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hd-master:10020</value>
</property>
 
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hd-master:19888</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name> <!-- memory for map task -->
    <value>64</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name> <!-- memory for reduce task -->
    <value>128</value>
</property>
<property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>32</value>
</property>
 
<property>
    <name>mapreduce.map.java.opts</name> <!-- settings for JVM map task -->
    <value>-Xms128m -Xmx256m</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name> <!-- settings for JVM reduce task -->
    <value>-Xms128m -Xmx256m</value>
</property>
</configuration>

在/opt/linuxsir/hadoop/etc/hadoop編輯yarn-site.xml文件，對YARN資源管理器的ResourceManager和NodeManagers節(jié)點、端口、內存分配等進行配置

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hd-master</value>
</property>
 
<property>
    <name>yarn.resourcemanager.address</name>
    <value>hd-master:9032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hd-master:9030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hd-master:9031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hd-master:9033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hd-master:9099</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.command-opts</name>
    <value>-Xms128m -Xmx256m</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>8</value>
</property>
<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>1</value>
</property>
 
 
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

進入hadoop-env.sh腳本文件所在目錄/opt/linuxsir/hadoop/etc/Hadoop

設置環(huán)境變量

export JAVA_HOME=/opt/linuxsir/java/jdk

接著，設置/opt/linuxsir/hadoop/etc/hadoop目錄下yarn-env.sh腳本文件的JAVA_HOME變量，內容如下

export JAVA_HOME=/opt/linuxsir/java/jdk

如果NodeManager因為內存不足，而啟動不起來，那么yarn-env.sh文件需要做如下修改，即JAVA_HEAP_MAX改為3G

JAVA_HEAP_MAX=-Xmx3072m

指定主從節(jié)點列表

修改/opt/linuxsir/hadoop/etc/hadoop/masters文件和/opt/linuxsir/hadoop/etc/hadoop/slaves文件，目的是指定主節(jié)點和從節(jié)點列表。

/opt/linuxsir/hadoop/etc/hadoop/masters文件的內容如下，即主節(jié)點為hd-master

hd-master

/opt/linuxsir/hadoop/etc/hadoop/slaves文件的內容如下，即從節(jié)點為hd-slave1和hd-slave2

hd-slave1
hd-slave2

復制Hadoop到其它各個節(jié)點

從192.168.31.131虛擬機復制Hadoop到其它各個節(jié)點，包括192.168.31.132、192.168.31.133。在192.168.31.131上運行如下命令

chmod a+rwx -R /opt/linuxsir \設置/opt/linuxsir的存取權限
ssh root@192.168.31.132 chmod a+rwx -R /opt/linuxsir 
ssh root@192.168.31.133 chmod a+rwx -R /opt/linuxsir
 
scp -r /root/.bashrc root@192.168.31.132:/root/.bashrc \復制/root/.bashrc
scp -r /root/.bashrc root@192.168.31.133:/root/.bashrc
 
scp -r /opt/linuxsir/hadoop hd-slave1:/opt/linuxsir \復制/opt/linuxsir/hadoop
scp -r /opt/linuxsir/hadoop hd-slave2:/opt/linuxsir
 
source ~/.bashrc  \刷新環(huán)境變量
ssh root@192.168.31.132 source ~/.bashrc
ssh root@192.168.31.133 source ~/.bashrc

這里分享一個你一定用得到的小程序——CDA數據分析師考試小程序。它是專為CDA數據分析認證考試報考打造的一款小程序?？梢詭湍憧焖賵竺荚嚒⒉槌煽?、查證書、查積分，通過該小程序，考生可以享受更便捷的服務。掃碼加入CDA小程序，與圈內考生一同學習、交流、進步！

推薦學習書籍

《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務及數據分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網校，累計已有10萬+在讀~

免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0

CDA數據分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>> “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

Hadoop 數據分析壓縮 NameNode HDFS shuffle 虛擬機大數據分析

數據分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇大數據分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗：集群網絡配置、JDK安裝、無密碼登錄ssh

下一篇大數據管理與應用專業(yè)學什么？給你一些行業(yè)需求與課程解析小思路

CDA報考指南

報考流程
考試時間
報名費用
聯(lián)系我們

數據分析學習

數據分析師資訊

京公網安備 11010802034615號經營許可證編號：京B2-20210330

聯(lián)系電話：13321103290 (微信同號)

CDA教材
CDA題庫
CDA大綱

客服在線

立即咨詢

客服在線

立即咨詢

免密碼登錄

提交首次登錄驗證后自動注冊

') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調用 initGeetest 進行初始化 // 參數1：配置參數 // 參數2：回調，回調的第一個參數驗證碼對象，之后可以使用它調用相應的接口 initGeetest({ // 以下 4 個配置參數為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產品形式，包括：float，popup width: "280px", https: true // 更多配置參數說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }

99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

大數據分析師教程-1.2Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

大數據分析師教程-Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

Hadoop安裝、配置和啟動

解壓縮Hadoop安裝包及設置環(huán)境變量

創(chuàng)建數據存放目錄

配置文件設置、環(huán)境變量、主從節(jié)點指定

配置文件設置

設置環(huán)境變量

指定主從節(jié)點列表

復制Hadoop到其它各個節(jié)點

推薦學習書籍

數據分析師考試動態(tài)

CDA報考指南

數據分析學習

數據分析師資訊

【CDA干貨】LSTM 模型輸入長度選擇技巧：提升序列建 ...

CDA 數據分析師報考條件詳解與準備指南 ...

【CDA干貨】數據透視表中兩列相乘合計的實用指南 ...

CDA 認證考試大綱 2025 重磅更新：一二級考綱變化匯 ...

BI 大數據分析師：連接數據與業(yè)務的價值轉化者 ...

SQL 在預測分析中的應用：從數據查詢到趨勢預判 ...

數據查詢結束后：分析師的收尾工作與價值深化 ...

CDA 數據分析師考試：從報考到取證的全攻略 ...

【CDA干貨】單樣本趨勢性檢驗：捕捉數據背后的時間 ...

year_month數據類型：時間維度的精準切片 ...

CDA 備考干貨：Python 在數據分析中的核心應用與實 ...

【CDA干貨】SPSS 中的 Mann-Kendall 檢驗：數據趨勢 ...

備戰(zhàn) CDA 數據分析師考試：需要多久？如何規(guī)劃？ ...

【CDA干貨】LSTM 輸出不確定的成因、影響與應對策略 ...

統(tǒng)計學方法在市場調研數據中的深度應用 ...

CDA數據分析師證書考試全攻略

剖析 CDA 數據分析師考試題型：解鎖高效備考與答題 ...

【CDA干貨】SQL Server 字符串截取轉日期：解鎖數據 ...

CDA 數據分析師視角：從數據迷霧中探尋商業(yè)真相 ...

CDA 數據分析師：開啟數據職業(yè)發(fā)展新征程 ...

CDA教育閉環(huán)

常見問題

關于我們

CDA數據分析師公眾號

CDA考試中心小程序

CDA數據分析師App下載

大數據分析師教程-1.2Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

大數據分析師教程-Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

Hadoop安裝、配置和啟動

解壓縮 Hadoop安裝包及設置環(huán)境變量

配置文件設置、環(huán)境變量、主從節(jié)點指定

備戰(zhàn) CDA 數據分析師考試：需要多久？如何規(guī)劃？ ...

【CDA干貨】LSTM 輸出不確定的成因、影響與應對策略 ...