99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄

首頁大數(shù)據(jù)時代大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡配置、JDK安裝、無密碼登錄ssh

大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡配置、JDK安裝、無密碼登錄ssh

2024-10-12

大數(shù)據(jù)分析師教程

大數(shù)據(jù)分析師教程-Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡配置、JDK安裝、無密碼登錄ssh

新建虛擬機集群邏輯說明
- 集群網(wǎng)絡配置
介紹Hadoop的安裝和配置
- 安裝JDK
大數(shù)據(jù)分析師證書
- 考試范圍

新建虛擬機 集群邏輯說明

在一臺虛擬機上安裝了CentOS以后，可以復制該虛擬機(復制虛擬機Image所在目錄)，并且修改主機名、進行網(wǎng)絡配置修改(IP地址)，構(gòu)造3臺虛擬機構(gòu)成的集群

如果通過復制虛擬機Image的方式，建立另外兩個虛擬機碰到問題，不好解決。所以最好是新建虛擬機2和虛擬機3，全新安裝CentOS和進行相關配置，包括網(wǎng)絡配置、Samba、SSHD、Yum等

集群網(wǎng)絡配置

vm里面有3臺主機，每個主機都是centos系統(tǒng)，上面都安裝了Hadoop， hd-master節(jié)點的配置如下

ip：192.168.31.131
mask：255.255.255.0
gateway：192.168.31.2

hd-slave1節(jié)點的配置如下

ip：192.168.31.132
mask：255.255.255.0
gateway：192.168.31.2

hd-slave2節(jié)點的配置如下

ip：192.168.31.133
mask：255.255.255.0
gateway：192.168.31.2
DNS：``

windows的vmnet8配置如下

ip：192.168.31.1
mask：255.255.255.0
gateway：192.168.31.2
DNS：``

無線網(wǎng)卡節(jié)點的配置如下

ip：192.168.1.100
mask：255.255.255.0
gateway：192.168.1.1
DNS：``

介紹Hadoop的安裝和配置

安裝JDK

為了安裝Hadoop，首先需要安裝特定版本的JDK 查看安裝的JDK信息

rpm -qa | grep java

卸載當前的jdk

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.31-2.b13.el7.x86_64
 
rpm -e --nodeps tzdata-java-2015a-1.el7.noarch
 
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.34-1.13.6.1.el7_0.x86_64

下載JDK

將安裝包jdk-8u144-linux-x64.tar.gz 傳到/opt/linuxsir/java

解壓和安裝

mkdir -p /opt/linuxsir/java
cd /opt/linuxsir/java
 
tar -zxvf /opt/linuxsir/java/jdk-8u144-linux-x64.tar.gz
ls jdk1.8.0_144
mv jdk1.8.0_144 jdk
 
ls /opt/linuxsir/java/jdk

配置JDK

編輯/root/.bashrc文件，增加如下內(nèi)容

ls /opt/linuxsir/java/jdk/jre/lib/rt.jar           \查看文件是否存在
ls /opt/linuxsir/java/jdk/lib/dt.jar
ls /opt/linuxsir/java/jdk/lib/tools.jar
 
echo "export JAVA_HOME=/opt/linuxsir/java/jdk" >> /root/.bashrc
echo "export JRE_HOME=$JAVA_HOME/jre" >> /root/.bashrc
echo "export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" >> /root/.bashrc
      
echo "export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar" >> /root/.bashrc
 
cat /root/.bashrc

重新讀取并生效.bashrc

cd                 \進入/root目錄，即root用戶的主目錄
source .bashrc

同步三臺虛擬機

scp -r /opt/linuxsir/java/jdk root@192.168.31.132:/opt/linuxsir/java \拷貝jdk
scp -r /opt/linuxsir/java/jdk root@192.168.31.133:/opt/linuxsir/java
 
scp -r /root/.bashrc root@192.168.31.132:/root/.bashrc \拷貝/root/.bashrc
scp -r /root/.bashrc root@192.168.31.133:/root/.bashrc
 

ssh root@192.168.31.132 source ~/.bashrc \刷新環(huán)境變量
ssh root@192.168.31.133 source ~/.bashrc
 
ssh root@192.168.31.132 java -version \查看JDK版本
ssh root@192.168.31.133 java -version

配置各個虛擬機別名/etc/hostname

為192.168.31.131、192.168.31.132、192.168.31.133等3臺虛擬機配置別名

三臺機器的/etc/hostname的內(nèi)容分別是hd-master、hd-slave1、hd-slave2

比如，在192.168.31.131上

cat /etc/hostname
 
rm -rf /etc/hostname
touch /etc/hostname
 
echo "hd-master" >> /etc/hostname
cat /etc/hostname| grep hd-master

另外2個主機運行類似的命令，注意主機名分別為hd-slave1、hd-slave2。

配置各個虛擬機的/etc/hosts文件

192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機的/etc/hosts內(nèi)容一樣

192.168.31.131 hd-master
192.168.31.132 hd-slave1
192.168.31.133 hd-slave2
 
127.0.0.1 localhost                \ 這行放在最后

在三臺虛擬機上執(zhí)行如下命令

rm -rf /etc/hosts
touch /etc/hosts
 
echo "192.168.31.131 hd-master" >>/etc/hosts
echo "192.168.31.132 hd-slave1" >>/etc/hosts
echo "192.168.31.133 hd-slave2" >>/etc/hosts
echo "127.0.0.1 localhost" >>/etc/hosts
echo "" >>/etc/hosts
 
cat /etc/hosts

無密碼ssh登錄

Linux 虛擬機之間的無密碼ssh登錄，使得我們可以在hd-master上，方便地啟動Hadoop服務進程，這些服務進程包括主節(jié)點的進程和從節(jié)點的進程

當從主節(jié)點啟動從節(jié)點的進程的時候，系統(tǒng)無需等待用戶輸入密碼

在192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機上執(zhí)行如下命令，配置sshd

編輯/etc/ssh/sshd_config，去掉以下兩行注釋，即把行首的#去掉，并且設置AuthorizedKeysFile

#RSAAuthentication yes    # 啟用 RSA 認證
#PubkeyAuthentication yes    # 啟用公鑰私鑰配對認證方式

AuthorizedKeysFile .ssh/authorized_keys    # 公鑰文件路徑(和下面生成的文件同名)

無密碼ssh登錄在192.168.31.131、192.168.31.132、192.168.31.133上執(zhí)行如下命令，生成key

 
whoami
cd
pwd
 
ssh-keygen -t rsa                     \生成密鑰文件
ls /root/.ssh/id_rsa                    \文件在/root/.ssh/id_rsa

在192.168.1.131上執(zhí)行如下命令，從另外兩臺機器(132/133)，合并公鑰到authorized_keys文件

cd ~/.ssh
ls authorized_keys
rm -rf authorized_keys
 
cat id_rsa.pub >> authorized_keys
ssh root@192.168.31.132 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh root@192.168.31.133 cat ~/.ssh/id_rsa.pub >> authorized_keys

從192.168.31.131，復制~/.ssh/authorized_keys和 ~/.ssh/known_hosts兩個文件到另外兩臺機器192.168.31.132、192.3168.1.133

這時候，每臺機器(CentOS)均有3臺機器的公鑰

cd ~/.ssh
scp authorized_keys root@192.168.31.132:~/.ssh
scp authorized_keys root@192.168.31.133:~/.ssh

scp known_hosts root@192.168.31.132:~/.ssh
scp known_hosts root@192.168.31.133:~/.ssh

在192.168.31.131上執(zhí)行如下命令，修改192.168.31.131/132/133等三臺機器上的~/.ssh/authorized_keys權(quán)限

cd ~/.ssh
ls authorized_keys
ssh root@192.168.31.132 ls ~/.ssh/authorized_keys
ssh root@192.168.31.133 ls ~/.ssh/authorized_keys
 
cd ~/.ssh
chmod 700 authorized_keys
ssh root@192.168.31.132 chmod 700 ~/.ssh/authorized_keys
ssh root@192.168.31.133 chmod 700 ~/.ssh/authorized_keys

在192.168.31.131、192.168.31.132、192.3168.1.133上執(zhí)行如下命令，重啟sshd

service sshd restart
    \或者用/etc/init.d/sshd restart

測試無密碼登錄

\在192.168.31.131上，測試無密碼登錄132/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit
 
\在192.168.31.132上，測試無密碼登錄131/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.133
exit
 
\在192.168.31.133上，測試無密碼登錄131/132
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit

大數(shù)據(jù)分析師證書

針對不同知識，掌握程度的要求分為【領會】、【熟知】、【應用】三個級別，考生應按照不同知識要求進行學習。

1．領會：考生能夠領會了解規(guī)定的知識點，并能夠了解規(guī)定知識點的內(nèi)涵與外延，了解其內(nèi)容要點和它們之間的區(qū)別與聯(lián)系，并能做出正確的闡述、解釋和說明。
2．熟知：考生須掌握知識的要點，并能夠正確理解和記憶相關理論方法，能夠根據(jù)不同要求，做出邏輯嚴密的解釋、說明和闡述。此部分為考試的重點部分。
3．應用：考生須學會將知識點落地實踐，并能夠結(jié)合相關工具進行商業(yè)應用，能夠根據(jù)具體要求，給出問題的具體實施流程和策略。

考試范圍

PART 1 大數(shù)據(jù)基礎理論占比（8% ） ?

a. 大數(shù)據(jù)分析基礎（1%）
b. Python 基礎（5%）
c. Linux & Ubuntu 操作系統(tǒng)基礎（2%）

PART 2 Hadoop 理論占比（12% ）

a. Hadoop 安裝配置及運行機制解析（2%）
b. HDFS 分布式文件系統(tǒng)（2%）
c. MapReduce 理論及實戰(zhàn)（2%）
d. Hadoop 生態(tài)其他常用組件（6%）

PART 3 大數(shù)據(jù)分析之數(shù)據(jù)庫理論及工具占比（16% ）

a. 數(shù)據(jù)庫導論（2%）
b. MySQL 理論及實戰(zhàn)（3%）
c. HBase 安裝及使用（3%）
d. Hive 安裝及使用（5%）
e. Sqoop 安裝及使用（3%）

PART 4 大數(shù)據(jù)分析之數(shù)據(jù)挖掘理論基礎占比（10% ）

a. 數(shù)據(jù)挖掘的基本思想（2%）
b. 數(shù)據(jù)挖掘基本方法介紹（2%）
c. 有監(jiān)督學習算法（4%）
d. 無監(jiān)督學習算法（2%）

PART 5 大數(shù)據(jù)分析之 Spark 工具及實戰(zhàn) 占比（35% ）

a. Spark 基礎理論（2%）
b. Spark RDD 基本概念及常用操作（3%）
c. Spark 流式計算框架 Spark Streaming、Structured Streaming（5%）
d. Spark 交互式數(shù)據(jù)查詢框架 Spark SQL（5%）
e． Spark 機器學習算法庫 Spark MLlib 基本使用方法（15%）
f． Spark 圖計算框架 GraphX（5%）

PART 6 大數(shù)據(jù)分析之數(shù)據(jù)可視化方法占比（4% ）

a. 數(shù)據(jù)可視化入門基礎（1%）
b. Python 數(shù)據(jù)可視化入門（2%）
c. Python 高級數(shù)據(jù)可視化方法（1%）

PART 7 大數(shù)據(jù)分析實戰(zhàn) 占比（15% ）

a. 利用 HDFS Shell 操作 HDFS 文件系統(tǒng)（1%）
b. 利用 Hive SQL 進行數(shù)據(jù)清洗（2%）
c. 利用 Sqoop 進行數(shù)據(jù)傳輸（1%）
d. 利用 Spark SQL 進行數(shù)據(jù)讀?。?%）
e. 利用 Spark MLlib 進行機器學習建模（8%）
f. 利用 Python 進行建模結(jié)果數(shù)據(jù)可視化（1%）

這里分享一個你一定用得到的小程序——CDA數(shù)據(jù)分析師考試小程序。它是專為CDA數(shù)據(jù)分析認證考試報考打造的一款小程序?？梢詭湍憧焖賵竺荚?、查成績、查證書、查積分，通過該小程序，考生可以享受更便捷的服務。掃碼加入CDA小程序，與圈內(nèi)考生一同學習、交流、進步！

CDA數(shù)據(jù)分析師考試相關入口一覽（建議收藏）：

? 想報名CDA認證考試，點擊>>> “CDA報名” 了解CDA考試詳情；

? 想學習CDA考試教材，點擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫，點擊>>> “CDA題庫” 了解CDA考試詳情；

? 想了解CDA考試含金量，點擊>>> “CDA含金量” 了解CDA考試詳情；

虛擬機數(shù)據(jù)分析大數(shù)據(jù) 大數(shù)據(jù)分析 Hadoop 集群數(shù)據(jù)可視化 HDFS

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

上一篇數(shù)據(jù)分析師從業(yè)者，有必要認證CDA嗎？

下一篇大數(shù)據(jù)分析師教程-1.2Hadoop安裝與HDFS、MapReduce實驗：Hadoop安裝、配置文件

CDA報考指南

報考流程
考試時間
報名費用
聯(lián)系我們

數(shù)據(jù)分析學習

數(shù)據(jù)分析師資訊

京公網(wǎng)安備 11010802034615號經(jīng)營許可證編號：京B2-20210330

聯(lián)系電話：13321103290 (微信同號)

CDA教材
CDA題庫
CDA大綱

客服在線

立即咨詢

客服在線

立即咨詢

免密碼登錄

提交首次登錄驗證后自動注冊

') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }

99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

大數(shù)據(jù)分析師教程-1.1 Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡配置、JDK安裝、無密碼登錄ssh

大數(shù)據(jù)分析師教程-Hadoop安裝與HDFS、MapReduce實驗：集群網(wǎng)絡配置、JDK安裝、無密碼登錄ssh

新建虛擬機集群邏輯說明

集群網(wǎng)絡配置

介紹Hadoop的安裝和配置

安裝JDK

下載JDK

配置JDK

同步三臺虛擬機

配置各個虛擬機別名/etc/hostname

配置各個虛擬機的/etc/hosts文件

無密碼ssh登錄

大數(shù)據(jù)分析師證書

考試范圍

PART 1 大數(shù)據(jù)基礎理論 占比（8% ） ?

PART 2 Hadoop 理論 占比（12% ）

PART 3 大數(shù)據(jù)分析之數(shù)據(jù)庫理論及工具 占比（16% ）

PART 4 大數(shù)據(jù)分析之數(shù)據(jù)挖掘理論基礎 占比（10% ）

PART 5 大數(shù)據(jù)分析之 Spark 工具及實戰(zhàn) 占比（35% ）

PART 6 大數(shù)據(jù)分析之數(shù)據(jù)可視化方法 占比（4% ）

PART 7 大數(shù)據(jù)分析實戰(zhàn) 占比（15% ）

數(shù)據(jù)分析師考試動態(tài)

CDA報考指南

數(shù)據(jù)分析學習

數(shù)據(jù)分析師資訊

【CDA干貨】LSTM 模型輸入長度選擇技巧：提升序列建 ...

CDA 數(shù)據(jù)分析師報考條件詳解與準備指南 ...

【CDA干貨】數(shù)據(jù)透視表中兩列相乘合計的實用指南 ...

CDA 認證考試大綱 2025 重磅更新：一二級考綱變化匯 ...

BI 大數(shù)據(jù)分析師：連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者 ...

SQL 在預測分析中的應用：從數(shù)據(jù)查詢到趨勢預判 ...

數(shù)據(jù)查詢結(jié)束后：分析師的收尾工作與價值深化 ...

CDA 數(shù)據(jù)分析師考試：從報考到取證的全攻略 ...

【CDA干貨】單樣本趨勢性檢驗：捕捉數(shù)據(jù)背后的時間 ...

year_month數(shù)據(jù)類型：時間維度的精準切片 ...

CDA 備考干貨：Python 在數(shù)據(jù)分析中的核心應用與實 ...

【CDA干貨】SPSS 中的 Mann-Kendall 檢驗：數(shù)據(jù)趨勢 ...

備戰(zhàn) CDA 數(shù)據(jù)分析師考試：需要多久？如何規(guī)劃？ ...

【CDA干貨】LSTM 輸出不確定的成因、影響與應對策略 ...

統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用 ...

CDA數(shù)據(jù)分析師證書考試全攻略

剖析 CDA 數(shù)據(jù)分析師考試題型：解鎖高效備考與答題 ...

【CDA干貨】SQL Server 字符串截取轉(zhuǎn)日期：解鎖數(shù)據(jù) ...

CDA 數(shù)據(jù)分析師視角：從數(shù)據(jù)迷霧中探尋商業(yè)真相 ...

CDA 數(shù)據(jù)分析師：開啟數(shù)據(jù)職業(yè)發(fā)展新征程 ...

CDA教育閉環(huán)

常見問題

關于我們

CDA數(shù)據(jù)分析師公眾號

CDA考試中心小程序

CDA數(shù)據(jù)分析師App下載