99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁大數(shù)據(jù)時代大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗:集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh
大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗:集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh
2024-10-12
收藏

大數(shù)據(jù)分析師教程

大數(shù)據(jù)分析師教程-Hadoop安裝與HDFS、MapReduce實驗:集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh


新建虛擬機(jī)集群邏輯說明

在一臺虛擬機(jī)上安裝了CentOS以后,可以復(fù)制該虛擬機(jī)(復(fù)制虛擬機(jī)Image所在目錄),并且修改主機(jī)名、進(jìn)行網(wǎng)絡(luò)配置修改(IP地址),構(gòu)造3臺虛擬機(jī)構(gòu)成的集群

如果通過復(fù)制虛擬機(jī)Image的方式,建立另外兩個虛擬機(jī)碰到問題,不好解決。所以最好是新建虛擬機(jī)2和虛擬機(jī)3,全新安裝CentOS和進(jìn)行相關(guān)配置,包括網(wǎng)絡(luò)配置、Samba、SSHD、Yum等


集群網(wǎng)絡(luò)配置

vm里面有3臺主機(jī),每個主機(jī)都是centos系統(tǒng),上面都安裝了Hadoop, hd-master節(jié)點的配置如下

  • ip:192.168.31.131
  • mask:255.255.255.0
  • gateway:192.168.31.2

hd-slave1節(jié)點的配置如下

  • ip:192.168.31.132
  • mask:255.255.255.0
  • gateway:192.168.31.2

hd-slave2節(jié)點的配置如下

  • ip:192.168.31.133
  • mask:255.255.255.0
  • gateway:192.168.31.2
  • DNS:``

windows的vmnet8配置如下

  • ip:192.168.31.1
  • mask:255.255.255.0
  • gateway:192.168.31.2
  • DNS:``

無線網(wǎng)卡節(jié)點的配置如下

  • ip:192.168.1.100
  • mask:255.255.255.0
  • gateway:192.168.1.1
  • DNS:``

介紹Hadoop的安裝和配置

安裝JDK

為了安裝Hadoop,首先需要安裝特定版本的JDK 查看安裝的JDK信息

rpm -qa | grep java

卸載當(dāng)前的jdk

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.31-2.b13.el7.x86_64
 
rpm -e --nodeps tzdata-java-2015a-1.el7.noarch
 
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.34-1.13.6.1.el7_0.x86_64

下載JDK

將安裝包jdk-8u144-linux-x64.tar.gz 傳到/opt/linuxsir/java

解壓和安裝

mkdir -p /opt/linuxsir/java
cd /opt/linuxsir/java
 
tar -zxvf /opt/linuxsir/java/jdk-8u144-linux-x64.tar.gz
ls jdk1.8.0_144
mv jdk1.8.0_144 jdk
 
ls /opt/linuxsir/java/jdk

配置JDK

編輯/root/.bashrc文件,增加如下內(nèi)容

ls /opt/linuxsir/java/jdk/jre/lib/rt.jar           \查看文件是否存在
ls /opt/linuxsir/java/jdk/lib/dt.jar
ls /opt/linuxsir/java/jdk/lib/tools.jar
 
echo "export JAVA_HOME=/opt/linuxsir/java/jdk" >> /root/.bashrc
echo "export JRE_HOME=$JAVA_HOME/jre" >> /root/.bashrc
echo "export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" >> /root/.bashrc
      
echo "export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar" >> /root/.bashrc
 
cat /root/.bashrc

重新讀取并生效.bashrc

cd                 \進(jìn)入/root目錄,即root用戶的主目錄
source .bashrc
同步三臺虛擬機(jī)
scp -r /opt/linuxsir/java/jdk root@192.168.31.132:/opt/linuxsir/java \拷貝jdk
scp -r /opt/linuxsir/java/jdk root@192.168.31.133:/opt/linuxsir/java
 
scp -r /root/.bashrc root@192.168.31.132:/root/.bashrc \拷貝/root/.bashrc
scp -r /root/.bashrc root@192.168.31.133:/root/.bashrc
 

ssh root@192.168.31.132 source ~/.bashrc \刷新環(huán)境變量
ssh root@192.168.31.133 source ~/.bashrc
 
ssh root@192.168.31.132 java -version \查看JDK版本
ssh root@192.168.31.133 java -version

配置各個虛擬機(jī)別名/etc/hostname

為192.168.31.131、192.168.31.132、192.168.31.133等3臺虛擬機(jī)配置別名

三臺機(jī)器的/etc/hostname的內(nèi)容分別是hd-master、hd-slave1、hd-slave2

比如,在192.168.31.131上

cat /etc/hostname
 
rm -rf /etc/hostname
touch /etc/hostname
 
echo "hd-master" >> /etc/hostname
cat /etc/hostname| grep hd-master

另外2個主機(jī)運(yùn)行類似的命令,注意主機(jī)名分別為hd-slave1、hd-slave2。

配置各個虛擬機(jī)的/etc/hosts文件

192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機(jī)的/etc/hosts內(nèi)容一樣

192.168.31.131 hd-master
192.168.31.132 hd-slave1
192.168.31.133 hd-slave2
 
127.0.0.1 localhost                \ 這行放在最后

在三臺虛擬機(jī)上執(zhí)行如下命令

rm -rf /etc/hosts
touch /etc/hosts
 
echo "192.168.31.131 hd-master" >>/etc/hosts
echo "192.168.31.132 hd-slave1" >>/etc/hosts
echo "192.168.31.133 hd-slave2" >>/etc/hosts
echo "127.0.0.1 localhost" >>/etc/hosts
echo "" >>/etc/hosts
 
cat /etc/hosts
無密碼ssh登錄

Linux虛擬機(jī)之間的無密碼ssh登錄,使得我們可以在hd-master上,方便地啟動Hadoop服務(wù)進(jìn)程,這些服務(wù)進(jìn)程包括主節(jié)點的進(jìn)程和從節(jié)點的進(jìn)程

當(dāng)從主節(jié)點啟動從節(jié)點的進(jìn)程的時候,系統(tǒng)無需等待用戶輸入密碼

在192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機(jī)上執(zhí)行如下命令,配置sshd

編輯/etc/ssh/sshd_config,去掉以下兩行注釋,即把行首的#去掉,并且設(shè)置AuthorizedKeysFile

#RSAAuthentication yes    # 啟用 RSA 認(rèn)證
#PubkeyAuthentication yes    # 啟用公鑰私鑰配對認(rèn)證方式

AuthorizedKeysFile .ssh/authorized_keys    # 公鑰文件路徑(和下面生成的文件同名)

無密碼ssh登錄 在192.168.31.131、192.168.31.132、192.168.31.133上執(zhí)行如下命令,生成key

 
whoami
cd
pwd
 
ssh-keygen -t rsa                     \生成密鑰文件
ls /root/.ssh/id_rsa                    \文件在/root/.ssh/id_rsa

在192.168.1.131上執(zhí)行如下命令,從另外兩臺機(jī)器(132/133),合并公鑰到authorized_keys文件

cd ~/.ssh
ls authorized_keys
rm -rf authorized_keys
 
cat id_rsa.pub >> authorized_keys
ssh root@192.168.31.132 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh root@192.168.31.133 cat ~/.ssh/id_rsa.pub >> authorized_keys

從192.168.31.131,復(fù)制~/.ssh/authorized_keys和 ~/.ssh/known_hosts兩個文件到另外兩臺機(jī)器192.168.31.132、192.3168.1.133

這時候,每臺機(jī)器(CentOS)均有3臺機(jī)器的公鑰

cd ~/.ssh
scp authorized_keys root@192.168.31.132:~/.ssh
scp authorized_keys root@192.168.31.133:~/.ssh

scp known_hosts root@192.168.31.132:~/.ssh
scp known_hosts root@192.168.31.133:~/.ssh


在192.168.31.131上執(zhí)行如下命令,修改192.168.31.131/132/133等三臺機(jī)器上的~/.ssh/authorized_keys權(quán)限

cd ~/.ssh
ls authorized_keys
ssh root@192.168.31.132 ls ~/.ssh/authorized_keys
ssh root@192.168.31.133 ls ~/.ssh/authorized_keys
 
cd ~/.ssh
chmod 700 authorized_keys
ssh root@192.168.31.132 chmod 700 ~/.ssh/authorized_keys
ssh root@192.168.31.133 chmod 700 ~/.ssh/authorized_keys

在192.168.31.131、192.168.31.132、192.3168.1.133上執(zhí)行如下命令,重啟sshd

service sshd restart
    \或者用/etc/init.d/sshd restart

測試無密碼登錄

\在192.168.31.131上,測試無密碼登錄132/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit
 
\在192.168.31.132上,測試無密碼登錄131/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.133
exit
 
\在192.168.31.133上,測試無密碼登錄131/132
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit

大數(shù)據(jù)分析師證書

針對不同知識,掌握程度的要求分為【領(lǐng)會】、【熟知】、【應(yīng)用】三個級別,考生應(yīng)按照不同知識要求進(jìn)行學(xué)習(xí)。

  • 1.領(lǐng)會:考生能夠領(lǐng)會了解規(guī)定的知識點,并能夠了解規(guī)定知識點的內(nèi)涵與外延,了 解其內(nèi)容要點和它們之間的區(qū)別與聯(lián)系,并能做出正確的闡述、解釋和說明。

  • 2.熟知:考生須掌握知識的要點,并能夠正確理解和記憶相關(guān)理論方法,能夠根據(jù)不 同要求,做出邏輯嚴(yán)密的解釋、說明和闡述。此部分為考試的重點部分。

  • 3.應(yīng)用:考生須學(xué)會將知識點落地實踐,并能夠結(jié)合相關(guān)工具進(jìn)行商業(yè)應(yīng)用,能夠根 據(jù)具體要求,給出問題的具體實施流程和策略。

考試范圍

PART 1 大數(shù)據(jù)基礎(chǔ)理論 占比(8% ) ?

PART 2 Hadoop 理論 占比(12% )

  • a. Hadoop 安裝配置及運(yùn)行機(jī)制解析(2%)

  • b. HDFS 分布式文件系統(tǒng)(2%)

  • c. MapReduce 理論及實戰(zhàn)(2%)

  • d. Hadoop 生態(tài)其他常用組件(6%)

PART 3 大數(shù)據(jù)分析之?dāng)?shù)據(jù)庫理論及工具 占比(16% )

  • a. 數(shù)據(jù)庫導(dǎo)論(2%)

  • b. MySQL 理論及實戰(zhàn)(3%)

  • c. HBase 安裝及使用(3%)

  • d. Hive 安裝及使用(5%)

  • e. Sqoop 安裝及使用(3%)

PART 4 大數(shù)據(jù)分析數(shù)據(jù)挖掘理論基礎(chǔ) 占比(10% )

PART 5 大數(shù)據(jù)分析之 Spark 工具及實戰(zhàn) 占比(35% )

  • a. Spark 基礎(chǔ)理論(2%)

  • b. Spark RDD 基本概念及常用操作(3%)

  • c. Spark 流式計算框架 Spark Streaming、Structured Streaming(5%)

  • d. Spark 交互式數(shù)據(jù)查詢框架 Spark SQL(5%)

  • e. Spark 機(jī)器學(xué)習(xí)算法庫 Spark MLlib 基本使用方法(15%)

  • f. Spark 圖計算框架 GraphX(5%)

PART 6 大數(shù)據(jù)分析數(shù)據(jù)可視化方法 占比(4% )

PART 7 大數(shù)據(jù)分析實戰(zhàn) 占比(15% )

這里分享一個你一定用得到的小程序——CDA數(shù)據(jù)分析師考試小程序。 它是專為CDA數(shù)據(jù)分析認(rèn)證考試報考打造的一款小程序。可以幫你快速報名考試、查成績、查證書、查積分,通過該小程序,考生可以享受更便捷的服務(wù)。 掃碼加入CDA小程序,與圈內(nèi)考生一同學(xué)習(xí)、交流、進(jìn)步!

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }