Hadoop通過(guò)改變其配置文件來(lái)更改運(yùn)行模式，我們通過(guò)修改如下四個(gè)配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可讓Hadoop以偽分布模式運(yùn)行。

Hadoop的配置文件是 xml 格式，每個(gè)配置以聲明 property 的 name 和 value的方式來(lái)實(shí)現(xiàn)。接下來(lái)讓我們開(kāi)始進(jìn)行hadoop的配置吧，配置之前首先啟動(dòng)Ubuntu虛擬機(jī)，然后打開(kāi)Xshell軟件并連接登錄虛擬機(jī)。

1、設(shè)置hadoop-env.sh配置文件

首先，我們需要修改hadoop運(yùn)行相關(guān)的sh文件，以保證hadoop運(yùn)行過(guò)程中能夠正常使用其他軟件或組件的功能，此處一般而言只需將JAVA功能添加在內(nèi)既可。

cd ~/hadoop/etc/hadoop # 進(jìn)入hadoop配置文件夾 vim hadoop-env.sh

在彈出的框體中輸入i進(jìn)入輸入模式，此時(shí)可以編輯hadoop-env.sh了。

將JAVA路徑寫(xiě)入到文件，只需修改

為如下代碼

export JAVA_HOME=/usr/local/lib/jdk1.8

然后按Esc進(jìn)入命令模式再輸入：wq保存文件并退出。

注：后面編輯文件的操作有將不再反復(fù)贅述編輯器打開(kāi)關(guān)閉過(guò)程，只對(duì)需要更改、編輯的內(nèi)容進(jìn)行說(shuō)明。

2、配置core-site.xml文件

首先是core-site.xml，文件，該文件決定Hadoop core組件部分運(yùn)行模式，在命令行中輸入開(kāi)始編輯文件

vim core-site.xml

在彈出的框體中輸入i，然后配置如下內(nèi)容

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

編輯完成內(nèi)容如下

3、配置hdfs-site.xml文件

hdfs-site.xml將決定hdfs的部分運(yùn)行情況，在命令行中輸入

vim hdfs-site.xml

在彈出的框體中輸入配置內(nèi)容

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hduser/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hduser/tmp/dfs/data</value>

</property>

</configuration>

4、配置mapred-site.xml文件

mapred-site.xml用于設(shè)置監(jiān)控Map與Reduce程序的JobTracker任務(wù)分配情況以及運(yùn)行情況。hadoop這里只提供了模板，可先復(fù)制再編輯，在命令行中輸入

cp mapred-site.xml.template mapred-site.xml # 復(fù)制模板 vim mapred-site.xml

在彈出的框體中輸入配置內(nèi)容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、配置yarn-site.xml文件

在命令行中輸入

vim yarn-site.xml

在彈出的框體中輸入配置內(nèi)容

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

偽分布模式的配置內(nèi)容就這里，下篇文章我們介紹如何啟動(dòng)單節(jié)點(diǎn)集群。