99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄

首頁大數(shù)據(jù)時代大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh

大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh

2024-10-12

大數(shù)據(jù)分析師教程

大數(shù)據(jù)分析師教程-Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh

新建虛擬機(jī)集群邏輯說明
- 集群網(wǎng)絡(luò)配置
介紹Hadoop的安裝和配置
- 安裝JDK
大數(shù)據(jù)分析師證書
- 考試范圍

新建虛擬機(jī)集群邏輯說明

在一臺虛擬機(jī)上安裝了CentOS以后，可以復(fù)制該虛擬機(jī)(復(fù)制虛擬機(jī)Image所在目錄)，并且修改主機(jī)名、進(jìn)行網(wǎng)絡(luò)配置修改(IP地址)，構(gòu)造3臺虛擬機(jī)構(gòu)成的集群

如果通過復(fù)制虛擬機(jī)Image的方式，建立另外兩個虛擬機(jī)碰到問題，不好解決。所以最好是新建虛擬機(jī)2和虛擬機(jī)3，全新安裝CentOS和進(jìn)行相關(guān)配置，包括網(wǎng)絡(luò)配置、Samba、SSHD、Yum等

集群網(wǎng)絡(luò)配置

vm里面有3臺主機(jī)，每個主機(jī)都是centos系統(tǒng)，上面都安裝了Hadoop， hd-master節(jié)點的配置如下

ip：192.168.31.131
mask：255.255.255.0
gateway：192.168.31.2

hd-slave1節(jié)點的配置如下

ip：192.168.31.132
mask：255.255.255.0
gateway：192.168.31.2

hd-slave2節(jié)點的配置如下

ip：192.168.31.133
mask：255.255.255.0
gateway：192.168.31.2
DNS：``

windows的vmnet8配置如下

ip：192.168.31.1
mask：255.255.255.0
gateway：192.168.31.2
DNS：``

無線網(wǎng)卡節(jié)點的配置如下

ip：192.168.1.100
mask：255.255.255.0
gateway：192.168.1.1
DNS：``

介紹Hadoop的安裝和配置

安裝JDK

為了安裝Hadoop，首先需要安裝特定版本的JDK 查看安裝的JDK信息

rpm -qa | grep java

卸載當(dāng)前的jdk

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.31-2.b13.el7.x86_64
 
rpm -e --nodeps tzdata-java-2015a-1.el7.noarch
 
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.34-1.13.6.1.el7_0.x86_64

下載JDK

將安裝包jdk-8u144-linux-x64.tar.gz 傳到/opt/linuxsir/java

解壓和安裝

mkdir -p /opt/linuxsir/java
cd /opt/linuxsir/java
 
tar -zxvf /opt/linuxsir/java/jdk-8u144-linux-x64.tar.gz
ls jdk1.8.0_144
mv jdk1.8.0_144 jdk
 
ls /opt/linuxsir/java/jdk

配置JDK

編輯/root/.bashrc文件，增加如下內(nèi)容

ls /opt/linuxsir/java/jdk/jre/lib/rt.jar           \查看文件是否存在
ls /opt/linuxsir/java/jdk/lib/dt.jar
ls /opt/linuxsir/java/jdk/lib/tools.jar
 
echo "export JAVA_HOME=/opt/linuxsir/java/jdk" >> /root/.bashrc
echo "export JRE_HOME=$JAVA_HOME/jre" >> /root/.bashrc
echo "export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" >> /root/.bashrc
      
echo "export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar" >> /root/.bashrc
 
cat /root/.bashrc

重新讀取并生效.bashrc

cd                 \進(jìn)入/root目錄，即root用戶的主目錄
source .bashrc

同步三臺虛擬機(jī)

scp -r /opt/linuxsir/java/jdk root@192.168.31.132:/opt/linuxsir/java \拷貝jdk
scp -r /opt/linuxsir/java/jdk root@192.168.31.133:/opt/linuxsir/java
 
scp -r /root/.bashrc root@192.168.31.132:/root/.bashrc \拷貝/root/.bashrc
scp -r /root/.bashrc root@192.168.31.133:/root/.bashrc
 

ssh root@192.168.31.132 source ~/.bashrc \刷新環(huán)境變量
ssh root@192.168.31.133 source ~/.bashrc
 
ssh root@192.168.31.132 java -version \查看JDK版本
ssh root@192.168.31.133 java -version

配置各個虛擬機(jī)別名/etc/hostname

為192.168.31.131、192.168.31.132、192.168.31.133等3臺虛擬機(jī)配置別名

三臺機(jī)器的/etc/hostname的內(nèi)容分別是hd-master、hd-slave1、hd-slave2

比如，在192.168.31.131上

cat /etc/hostname
 
rm -rf /etc/hostname
touch /etc/hostname
 
echo "hd-master" >> /etc/hostname
cat /etc/hostname| grep hd-master

另外2個主機(jī)運(yùn)行類似的命令，注意主機(jī)名分別為hd-slave1、hd-slave2。

配置各個虛擬機(jī)的/etc/hosts文件

192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機(jī)的/etc/hosts內(nèi)容一樣

192.168.31.131 hd-master
192.168.31.132 hd-slave1
192.168.31.133 hd-slave2
 
127.0.0.1 localhost                \ 這行放在最后

在三臺虛擬機(jī)上執(zhí)行如下命令

rm -rf /etc/hosts
touch /etc/hosts
 
echo "192.168.31.131 hd-master" >>/etc/hosts
echo "192.168.31.132 hd-slave1" >>/etc/hosts
echo "192.168.31.133 hd-slave2" >>/etc/hosts
echo "127.0.0.1 localhost" >>/etc/hosts
echo "" >>/etc/hosts
 
cat /etc/hosts

無密碼ssh登錄

Linux 虛擬機(jī)之間的無密碼ssh登錄，使得我們可以在hd-master上，方便地啟動Hadoop服務(wù)進(jìn)程，這些服務(wù)進(jìn)程包括主節(jié)點的進(jìn)程和從節(jié)點的進(jìn)程

當(dāng)從主節(jié)點啟動從節(jié)點的進(jìn)程的時候，系統(tǒng)無需等待用戶輸入密碼

在192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機(jī)上執(zhí)行如下命令，配置sshd

編輯/etc/ssh/sshd_config，去掉以下兩行注釋，即把行首的#去掉，并且設(shè)置AuthorizedKeysFile

#RSAAuthentication yes    # 啟用 RSA 認(rèn)證
#PubkeyAuthentication yes    # 啟用公鑰私鑰配對認(rèn)證方式

AuthorizedKeysFile .ssh/authorized_keys    # 公鑰文件路徑(和下面生成的文件同名)

無密碼ssh登錄在192.168.31.131、192.168.31.132、192.168.31.133上執(zhí)行如下命令，生成key

 
whoami
cd
pwd
 
ssh-keygen -t rsa                     \生成密鑰文件
ls /root/.ssh/id_rsa                    \文件在/root/.ssh/id_rsa

在192.168.1.131上執(zhí)行如下命令，從另外兩臺機(jī)器(132/133)，合并公鑰到authorized_keys文件

cd ~/.ssh
ls authorized_keys
rm -rf authorized_keys
 
cat id_rsa.pub >> authorized_keys
ssh root@192.168.31.132 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh root@192.168.31.133 cat ~/.ssh/id_rsa.pub >> authorized_keys

從192.168.31.131，復(fù)制~/.ssh/authorized_keys和 ~/.ssh/known_hosts兩個文件到另外兩臺機(jī)器192.168.31.132、192.3168.1.133

這時候，每臺機(jī)器(CentOS)均有3臺機(jī)器的公鑰

cd ~/.ssh
scp authorized_keys root@192.168.31.132:~/.ssh
scp authorized_keys root@192.168.31.133:~/.ssh

scp known_hosts root@192.168.31.132:~/.ssh
scp known_hosts root@192.168.31.133:~/.ssh

在192.168.31.131上執(zhí)行如下命令，修改192.168.31.131/132/133等三臺機(jī)器上的~/.ssh/authorized_keys權(quán)限

cd ~/.ssh
ls authorized_keys
ssh root@192.168.31.132 ls ~/.ssh/authorized_keys
ssh root@192.168.31.133 ls ~/.ssh/authorized_keys
 
cd ~/.ssh
chmod 700 authorized_keys
ssh root@192.168.31.132 chmod 700 ~/.ssh/authorized_keys
ssh root@192.168.31.133 chmod 700 ~/.ssh/authorized_keys

在192.168.31.131、192.168.31.132、192.3168.1.133上執(zhí)行如下命令，重啟sshd

service sshd restart
    \或者用/etc/init.d/sshd restart

測試無密碼登錄

\在192.168.31.131上，測試無密碼登錄132/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit
 
\在192.168.31.132上，測試無密碼登錄131/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.133
exit
 
\在192.168.31.133上，測試無密碼登錄131/132
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit

大數(shù)據(jù)分析師證書

針對不同知識，掌握程度的要求分為【領(lǐng)會】、【熟知】、【應(yīng)用】三個級別，考生應(yīng)按照不同知識要求進(jìn)行學(xué)習(xí)。

1．領(lǐng)會：考生能夠領(lǐng)會了解規(guī)定的知識點，并能夠了解規(guī)定知識點的內(nèi)涵與外延，了解其內(nèi)容要點和它們之間的區(qū)別與聯(lián)系，并能做出正確的闡述、解釋和說明。
2．熟知：考生須掌握知識的要點，并能夠正確理解和記憶相關(guān)理論方法，能夠根據(jù)不同要求，做出邏輯嚴(yán)密的解釋、說明和闡述。此部分為考試的重點部分。
3．應(yīng)用：考生須學(xué)會將知識點落地實踐，并能夠結(jié)合相關(guān)工具進(jìn)行商業(yè)應(yīng)用，能夠根據(jù)具體要求，給出問題的具體實施流程和策略。

考試范圍

PART 1 大數(shù)據(jù)基礎(chǔ)理論占比（8% ） ?

a. 大數(shù)據(jù)分析基礎(chǔ)（1%）
b. Python 基礎(chǔ)（5%）
c. Linux & Ubuntu 操作系統(tǒng)基礎(chǔ)（2%）

PART 2 Hadoop 理論占比（12% ）

a. Hadoop 安裝配置及運(yùn)行機(jī)制解析（2%）
b. HDFS 分布式文件系統(tǒng)（2%）
c. MapReduce 理論及實戰(zhàn)（2%）
d. Hadoop 生態(tài)其他常用組件（6%）

PART 3 大數(shù)據(jù)分析之?dāng)?shù)據(jù)庫理論及工具占比（16% ）

a. 數(shù)據(jù)庫導(dǎo)論（2%）
b. MySQL 理論及實戰(zhàn)（3%）
c. HBase 安裝及使用（3%）
d. Hive 安裝及使用（5%）
e. Sqoop 安裝及使用（3%）

PART 4 大數(shù)據(jù)分析之數(shù)據(jù)挖掘理論基礎(chǔ) 占比（10% ）

a. 數(shù)據(jù)挖掘的基本思想（2%）
b. 數(shù)據(jù)挖掘基本方法介紹（2%）
c. 有監(jiān)督學(xué)習(xí)算法（4%）
d. 無監(jiān)督學(xué)習(xí)算法（2%）

PART 5 大數(shù)據(jù)分析之 Spark 工具及實戰(zhàn) 占比（35% ）

a. Spark 基礎(chǔ)理論（2%）
b. Spark RDD 基本概念及常用操作（3%）
c. Spark 流式計算框架 Spark Streaming、Structured Streaming（5%）
d. Spark 交互式數(shù)據(jù)查詢框架 Spark SQL（5%）
e． Spark 機(jī)器學(xué)習(xí)算法庫 Spark MLlib 基本使用方法（15%）
f． Spark 圖計算框架 GraphX（5%）

PART 6 大數(shù)據(jù)分析之數(shù)據(jù)可視化方法占比（4% ）

a. 數(shù)據(jù)可視化入門基礎(chǔ)（1%）
b. Python 數(shù)據(jù)可視化入門（2%）
c. Python 高級數(shù)據(jù)可視化方法（1%）

PART 7 大數(shù)據(jù)分析實戰(zhàn) 占比（15% ）

a. 利用 HDFS Shell 操作 HDFS 文件系統(tǒng)（1%）
b. 利用 Hive SQL 進(jìn)行數(shù)據(jù)清洗（2%）
c. 利用 Sqoop 進(jìn)行數(shù)據(jù)傳輸（1%）
d. 利用 Spark SQL 進(jìn)行數(shù)據(jù)讀取（2%）
e. 利用 Spark MLlib 進(jìn)行機(jī)器學(xué)習(xí)建模（8%）
f. 利用 Python 進(jìn)行建模結(jié)果數(shù)據(jù)可視化（1%）

這里分享一個你一定用得到的小程序——CDA數(shù)據(jù)分析師考試小程序。它是專為CDA數(shù)據(jù)分析認(rèn)證考試報考打造的一款小程序。可以幫你快速報名考試、查成績、查證書、查積分，通過該小程序，考生可以享受更便捷的服務(wù)。掃碼加入CDA小程序，與圈內(nèi)考生一同學(xué)習(xí)、交流、進(jìn)步！

CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：

? 想報名CDA認(rèn)證考試，點擊>>> “CDA報名” 了解CDA考試詳情；

? 想學(xué)習(xí)CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

虛擬機(jī) 數(shù)據(jù)分析大數(shù)據(jù) 大數(shù)據(jù)分析 Hadoop 集群數(shù)據(jù)可視化 HDFS

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇數(shù)據(jù)分析師從業(yè)者，有必要認(rèn)證CDA嗎？

下一篇大數(shù)據(jù)分析師教程-1.2Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

CDA報考指南

報考流程
考試時間
報名費(fèi)用
聯(lián)系我們

數(shù)據(jù)分析學(xué)習(xí)

數(shù)據(jù)分析師資訊

京公網(wǎng)安備 11010802034615號經(jīng)營許可證編號：京B2-20210330

聯(lián)系電話：13321103290 (微信同號)

CDA教材
CDA題庫
CDA大綱

客服在線

立即咨詢

客服在線

立即咨詢

免密碼登錄

提交首次登錄驗證后自動注冊

') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }

99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh

大數(shù)據(jù)分析師教程-Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡(luò)配置、JDK安裝、無密碼登錄ssh

新建虛擬機(jī)集群邏輯說明

集群網(wǎng)絡(luò)配置

介紹Hadoop的安裝和配置

安裝JDK

下載JDK

配置JDK

同步三臺虛擬機(jī)

配置各個虛擬機(jī)別名/etc/hostname

配置各個虛擬機(jī)的/etc/hosts文件

無密碼ssh登錄

大數(shù)據(jù)分析師證書

考試范圍

PART 1 大數(shù)據(jù)基礎(chǔ)理論 占比（8% ） ?

PART 2 Hadoop 理論 占比（12% ）

PART 3 大數(shù)據(jù)分析之?dāng)?shù)據(jù)庫理論及工具 占比（16% ）

PART 4 大數(shù)據(jù)分析之數(shù)據(jù)挖掘理論基礎(chǔ) 占比（10% ）

PART 5 大數(shù)據(jù)分析之 Spark 工具及實戰(zhàn) 占比（35% ）

PART 6 大數(shù)據(jù)分析之數(shù)據(jù)可視化方法 占比（4% ）

PART 7 大數(shù)據(jù)分析實戰(zhàn) 占比（15% ）

數(shù)據(jù)分析師考試動態(tài)

CDA報考指南

數(shù)據(jù)分析學(xué)習(xí)

數(shù)據(jù)分析師資訊

【CDA干貨】LSTM 模型輸入長度選擇技巧：提升序列建 ...

CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南 ...

【CDA干貨】數(shù)據(jù)透視表中兩列相乘合計的實用指南 ...

CDA 認(rèn)證考試大綱 2025 重磅更新：一二級考綱變化匯 ...

BI 大數(shù)據(jù)分析師：連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者 ...

SQL 在預(yù)測分析中的應(yīng)用：從數(shù)據(jù)查詢到趨勢預(yù)判 ...

數(shù)據(jù)查詢結(jié)束后：分析師的收尾工作與價值深化 ...

CDA 數(shù)據(jù)分析師考試：從報考到取證的全攻略 ...

【CDA干貨】單樣本趨勢性檢驗：捕捉數(shù)據(jù)背后的時間 ...

year_month數(shù)據(jù)類型：時間維度的精準(zhǔn)切片 ...

CDA 備考干貨：Python 在數(shù)據(jù)分析中的核心應(yīng)用與實 ...

【CDA干貨】SPSS 中的 Mann-Kendall 檢驗：數(shù)據(jù)趨勢 ...

備戰(zhàn) CDA 數(shù)據(jù)分析師考試：需要多久？如何規(guī)劃？ ...

【CDA干貨】LSTM 輸出不確定的成因、影響與應(yīng)對策略 ...

統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用 ...

CDA數(shù)據(jù)分析師證書考試全攻略

剖析 CDA 數(shù)據(jù)分析師考試題型：解鎖高效備考與答題 ...

【CDA干貨】SQL Server 字符串截取轉(zhuǎn)日期：解鎖數(shù)據(jù) ...

CDA 數(shù)據(jù)分析師視角：從數(shù)據(jù)迷霧中探尋商業(yè)真相 ...

CDA 數(shù)據(jù)分析師：開啟數(shù)據(jù)職業(yè)發(fā)展新征程 ...

CDA教育閉環(huán)

常見問題

關(guān)于我們

CDA數(shù)據(jù)分析師公眾號

CDA考試中心小程序

CDA數(shù)據(jù)分析師App下載