99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
2023-07-16 閱讀量: 703
Linux安裝Hadoop的偽分布模式

一、電腦信息

電腦版本：MacBook Pro 14 2023

處理器： M2 pro

內(nèi)存 ：16GB

macos：13.4

Linux ：almalinux 9.1

Shell ：termius

關(guān)于Linux的安裝和ssh 可參照這篇文章

http://www.3lll3.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5


Hadoop的集群搭建可以參照bilibili的這個視頻 https://www.bilibili.com/video/BV1x5411177Y?vd_source=b68a713735fe58e95cc90370349f3e0e

二、hadoop本地模式安裝 準備

2.1 hadoop下載

從清華鏡像源下載；Index of /apache/hadoop/common/hadoop-3.3.6 (tsinghua.edu.cn)

Hadoop名稱—— hadoop-3.3.6-aarch64.tar.gz

2.2 JDK 下載

從huawei鏡像源下載；https://repo.huaweicloud.com/java/jdk/8u202-b08/

jdp名稱 ——jdk-8u202-linux-arm64-vfp-hflt.tar.gz


2.3 進入root模式

[nigel@localhost network-scripts]$ su

密碼：

[root@localhost network-scripts]#

2.4 將虛擬機ip設(shè)為靜態(tài)（是almalinux的操作，與其他Linux不同）

可以參照http://www.3lll3.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5的最后幾張圖片進行修改。該網(wǎng)址修改靜態(tài)ip無需進入終端

[root@localhost network-scripts]# cd /etc/NetworkManager/system-connections/

[root@localhost system-connections]# ls

enp0s5.nmconnection

[root@localhost system-connections]# vi enp0s5.nmconnection

image.png

這里是已經(jīng)修改過的，可以在vi 中修改。也可以參照http://www.3lll3.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5的最后幾張圖片進行修改。

2.5修改hostname

[root@localhost etc]# vim /etc/hostname

image.png

輸入你要設(shè)置的用戶名后，esc退出插入，按:wq! 退出（注意是在root賬戶下）

2.6修改hosts，配置主機名映射

vim /etc/hosts

image.png

插入 Linux的ip地址 和 上一步修改完的hostname

2.7 給hostname配置sudo 權(quán)限

[root@localhost etc]# vim /etc/sudoers

image.png

2.8 安裝 epel-release

[root@nigel nigel]# yum install -y epel-release

image.png

2.9 重啟虛擬機

[root@localhost etc]# reboot

2.10 修改Mac 上的hosts

可以自行bing搜索相關(guān)方法，這里省略，不改也沒關(guān)系。

三、安裝hadoop 和jdk

3.1創(chuàng)建軟件安裝的文件夾，并修改所有者

重啟系統(tǒng)后，再次進入root

[root@nigel1 opt]# cd

[root@nigel1 ~]# cd /opt/

[root@nigel1 opt]# mkdir module/software/

[root@nigel1 opt]# chown nigel:nigel module/software/

3.2 上傳hadoop 和jdk

先退出root權(quán)限

[root@nigel1 opt]# exit

將下載好的文件通過SFTP 上傳到linux的/opt/module/software/目錄下


image.png



3.3安裝JDK

需要提前檢查是否已經(jīng)存在java，若存在可以先卸載

[nigel@nigel1 software]$ cd /opt/module/software

[nigel@nigel1 software]$ tar -zxvf jdk-8u202-linux-arm64-vfp-hflt.tar.gz -C /opt/module/

等待解壓安裝即可


[nigel@nigel1 software]$ sudo vim /etc/profile.d/my_env.sh


添加下面內(nèi)容

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_202

export PATH=$PATH:$JAVA_HOME/bin


使環(huán)境生效

[nigel@nigel1 software]$ source /etc/profile


檢查安裝的jdk版本

[nigel@nigel1 software]$ java -version


3.4安裝hadoop

[nigel@nigel1 software]$ cd /opt/module/software

[nigel@nigel1 software]$ tar -zxvf hadoop-3.3.6-aarch64.tar.gz -C /opt/module/

[nigel@nigel1 software]$ sudo vim /etc/profile.d/my_env.sh


添加

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.3.6

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin


應(yīng)用環(huán)境

[nigel@nigel1 software]$ source /etc/profile


查看安裝結(jié)果

[nigel@nigel1 software]$ hadoop version


Hadoop 3.3.6

Source code repository https://github.com/apache/hadoop.git -r 1be78238728da9266a4f88195058f08fd012bf9c

Compiled by ubuntu on 2023-06-18T23:15Z

Compiled on platform linux-aarch_64

Compiled with protoc 3.7.1

From source with checksum 5652179ad55f76cb287d9c633bb53bbd

This command was run using /opt/module/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar


四、偽分布

4.1修改hadoop-env.sh

[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/hadoop-env.sh

在第54行進行修改，如圖所示

image.png

export JAVA_HOME=/opt/module/jdk1.8.0_202/

4.2修改core-site.xml

[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/core-site.xml


在<configuration>與</configuration>之間添加內(nèi)容：


<!-- 指定HDFS中NameNode的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://nigel1:9820</value>

</property>


<!-- 指定Hadoop運行時產(chǎn)生文件的存儲目錄 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-3.3.6/data/tmp</value>

</property>

<property>

<name>hadoop.proxyuser.nigel.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.nigel.groups</name>

<value>*</value>

</property>



4.3 修改hdfs-site.xml

[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/hdfs-site.xml

在<configuration>與</configuration>之間添加內(nèi)容：


<!-- 指定HDFS副本的數(shù)量,默認為3 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>


4.4修改yarn-site.xml

[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/yarn-site.xml

在<configuration>與</configuration>之間添加內(nèi)容：


<!-- Reducer獲取數(shù)據(jù)的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>


<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>nigel1</value>

</property>

<!-- 環(huán)境變量 -->

<property>

<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

</property>


4.5修改mapred-site.xml

[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/mapred-site.xml

<!-- 指定MR運行在YARN上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>


4.6格式化NameNode

請先刪除hadoop-3.3.6/data目錄和hadoop-3.3.6/logs目錄

[nigel@nigel1 software]$ rm -rf /opt/module/hadoop-3.3.6/data/ /opt/module/hadoop-3.3.6/logs/

格式化

[nigel@nigel1 software]$ hdfs namenode -format


5.免密登陸

[nigel@nigel1 software]$ ssh-keygen -t rsa

然后按好幾下回車


[nigel@nigel1 software]$ ssh-copy-id nigel1

輸入密碼


切換root賬戶

[nigel@nigel1 software]$ su

密碼：

[root@nigel1 software]# ssh-keygen -t rsa

[root@nigel1 software]# ssh-copy-id nigel1

[root@nigel1 software]# exit














0.0000
0
關(guān)注作者
收藏
評論(0)

發(fā)表評論

暫無數(shù)據(jù)
推薦帖子