
在一臺虛擬機(jī)上安裝了CentOS以后,可以復(fù)制該虛擬機(jī)(復(fù)制虛擬機(jī)Image所在目錄),并且修改主機(jī)名、進(jìn)行網(wǎng)絡(luò)配置修改(IP地址),構(gòu)造3臺虛擬機(jī)構(gòu)成的集群
如果通過復(fù)制虛擬機(jī)Image的方式,建立另外兩個虛擬機(jī)碰到問題,不好解決。所以最好是新建虛擬機(jī)2和虛擬機(jī)3,全新安裝CentOS和進(jìn)行相關(guān)配置,包括網(wǎng)絡(luò)配置、Samba、SSHD、Yum等
vm里面有3臺主機(jī),每個主機(jī)都是centos系統(tǒng),上面都安裝了Hadoop,
hd-master
節(jié)點的配置如下
192.168.31.131
255.255.255.0
192.168.31.2
hd-slave1
節(jié)點的配置如下
192.168.31.132
255.255.255.0
192.168.31.2
hd-slave2
節(jié)點的配置如下
192.168.31.133
255.255.255.0
192.168.31.2
windows
的vmnet8配置如下
192.168.31.1
255.255.255.0
192.168.31.2
無線網(wǎng)卡
節(jié)點的配置如下
192.168.1.100
255.255.255.0
192.168.1.1
為了安裝Hadoop,首先需要安裝特定版本的JDK 查看安裝的JDK信息
rpm -qa | grep java
卸載當(dāng)前的jdk
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.31-2.b13.el7.x86_64
rpm -e --nodeps tzdata-java-2015a-1.el7.noarch
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.34-1.13.6.1.el7_0.x86_64
將安裝包jdk-8u144-linux-x64.tar.gz 傳到/opt/linuxsir/java
解壓和安裝
mkdir -p /opt/linuxsir/java
cd /opt/linuxsir/java
tar -zxvf /opt/linuxsir/java/jdk-8u144-linux-x64.tar.gz
ls jdk1.8.0_144
mv jdk1.8.0_144 jdk
ls /opt/linuxsir/java/jdk
編輯/root/.bashrc文件,增加如下內(nèi)容
ls /opt/linuxsir/java/jdk/jre/lib/rt.jar \查看文件是否存在
ls /opt/linuxsir/java/jdk/lib/dt.jar
ls /opt/linuxsir/java/jdk/lib/tools.jar
echo "export JAVA_HOME=/opt/linuxsir/java/jdk" >> /root/.bashrc
echo "export JRE_HOME=$JAVA_HOME/jre" >> /root/.bashrc
echo "export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" >> /root/.bashrc
echo "export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar" >> /root/.bashrc
cat /root/.bashrc
重新讀取并生效.bashrc
cd \進(jìn)入/root目錄,即root用戶的主目錄
source .bashrc
scp -r /opt/linuxsir/java/jdk root@192.168.31.132:/opt/linuxsir/java \拷貝jdk
scp -r /opt/linuxsir/java/jdk root@192.168.31.133:/opt/linuxsir/java
scp -r /root/.bashrc root@192.168.31.132:/root/.bashrc \拷貝/root/.bashrc
scp -r /root/.bashrc root@192.168.31.133:/root/.bashrc
ssh root@192.168.31.132 source ~/.bashrc \刷新環(huán)境變量
ssh root@192.168.31.133 source ~/.bashrc
ssh root@192.168.31.132 java -version \查看JDK版本
ssh root@192.168.31.133 java -version
為192.168.31.131、192.168.31.132、192.168.31.133等3臺虛擬機(jī)配置別名
三臺機(jī)器的/etc/hostname的內(nèi)容分別是hd-master、hd-slave1、hd-slave2
比如,在192.168.31.131上
cat /etc/hostname
rm -rf /etc/hostname
touch /etc/hostname
echo "hd-master" >> /etc/hostname
cat /etc/hostname| grep hd-master
另外2個主機(jī)運(yùn)行類似的命令,注意主機(jī)名分別為hd-slave1、hd-slave2。
192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機(jī)的/etc/hosts內(nèi)容一樣
192.168.31.131 hd-master
192.168.31.132 hd-slave1
192.168.31.133 hd-slave2
127.0.0.1 localhost \ 這行放在最后
在三臺虛擬機(jī)上執(zhí)行如下命令
rm -rf /etc/hosts
touch /etc/hosts
echo "192.168.31.131 hd-master" >>/etc/hosts
echo "192.168.31.132 hd-slave1" >>/etc/hosts
echo "192.168.31.133 hd-slave2" >>/etc/hosts
echo "127.0.0.1 localhost" >>/etc/hosts
echo "" >>/etc/hosts
cat /etc/hosts
Linux虛擬機(jī)之間的無密碼ssh登錄,使得我們可以在hd-master上,方便地啟動Hadoop服務(wù)進(jìn)程,這些服務(wù)進(jìn)程包括主節(jié)點的進(jìn)程和從節(jié)點的進(jìn)程
當(dāng)從主節(jié)點啟動從節(jié)點的進(jìn)程的時候,系統(tǒng)無需等待用戶輸入密碼
在192.168.31.131、192.168.31.132、192.168.31.133三臺虛擬機(jī)上執(zhí)行如下命令,配置sshd
編輯/etc/ssh/sshd_config,去掉以下兩行注釋,即把行首的#去掉,并且設(shè)置AuthorizedKeysFile
#RSAAuthentication yes # 啟用 RSA 認(rèn)證
#PubkeyAuthentication yes # 啟用公鑰私鑰配對認(rèn)證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑(和下面生成的文件同名)
無密碼ssh登錄 在192.168.31.131、192.168.31.132、192.168.31.133上執(zhí)行如下命令,生成key
whoami
cd
pwd
ssh-keygen -t rsa \生成密鑰文件
ls /root/.ssh/id_rsa \文件在/root/.ssh/id_rsa
在192.168.1.131上執(zhí)行如下命令,從另外兩臺機(jī)器(132/133),合并公鑰到authorized_keys文件
cd ~/.ssh
ls authorized_keys
rm -rf authorized_keys
cat id_rsa.pub >> authorized_keys
ssh root@192.168.31.132 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh root@192.168.31.133 cat ~/.ssh/id_rsa.pub >> authorized_keys
從192.168.31.131,復(fù)制~/.ssh/authorized_keys和 ~/.ssh/known_hosts兩個文件到另外兩臺機(jī)器192.168.31.132、192.3168.1.133
這時候,每臺機(jī)器(CentOS)均有3臺機(jī)器的公鑰
cd ~/.ssh
scp authorized_keys root@192.168.31.132:~/.ssh
scp authorized_keys root@192.168.31.133:~/.ssh
scp known_hosts root@192.168.31.132:~/.ssh
scp known_hosts root@192.168.31.133:~/.ssh
在192.168.31.131上執(zhí)行如下命令,修改192.168.31.131/132/133等三臺機(jī)器上的~/.ssh/authorized_keys權(quán)限
cd ~/.ssh
ls authorized_keys
ssh root@192.168.31.132 ls ~/.ssh/authorized_keys
ssh root@192.168.31.133 ls ~/.ssh/authorized_keys
cd ~/.ssh
chmod 700 authorized_keys
ssh root@192.168.31.132 chmod 700 ~/.ssh/authorized_keys
ssh root@192.168.31.133 chmod 700 ~/.ssh/authorized_keys
在192.168.31.131、192.168.31.132、192.3168.1.133上執(zhí)行如下命令,重啟sshd
service sshd restart
\或者用/etc/init.d/sshd restart
測試無密碼登錄
\在192.168.31.131上,測試無密碼登錄132/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit
\在192.168.31.132上,測試無密碼登錄131/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.133
exit
\在192.168.31.133上,測試無密碼登錄131/132
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit
針對不同知識,掌握程度的要求分為【領(lǐng)會】、【熟知】、【應(yīng)用】三個級別,考生應(yīng)按照不同知識要求進(jìn)行學(xué)習(xí)。
1.領(lǐng)會:考生能夠領(lǐng)會了解規(guī)定的知識點,并能夠了解規(guī)定知識點的內(nèi)涵與外延,了 解其內(nèi)容要點和它們之間的區(qū)別與聯(lián)系,并能做出正確的闡述、解釋和說明。
2.熟知:考生須掌握知識的要點,并能夠正確理解和記憶相關(guān)理論方法,能夠根據(jù)不 同要求,做出邏輯嚴(yán)密的解釋、說明和闡述。此部分為考試的重點部分。
3.應(yīng)用:考生須學(xué)會將知識點落地實踐,并能夠結(jié)合相關(guān)工具進(jìn)行商業(yè)應(yīng)用,能夠根 據(jù)具體要求,給出問題的具體實施流程和策略。
a. 大數(shù)據(jù)分析基礎(chǔ)(1%)
b. Python 基礎(chǔ)(5%)
c. Linux & Ubuntu 操作系統(tǒng)基礎(chǔ)(2%)
a. Hadoop 安裝配置及運(yùn)行機(jī)制解析(2%)
b. HDFS 分布式文件系統(tǒng)(2%)
c. MapReduce 理論及實戰(zhàn)(2%)
d. Hadoop 生態(tài)其他常用組件(6%)
a. 數(shù)據(jù)庫導(dǎo)論(2%)
b. MySQL 理論及實戰(zhàn)(3%)
c. HBase 安裝及使用(3%)
d. Hive 安裝及使用(5%)
e. Sqoop 安裝及使用(3%)
a. 數(shù)據(jù)挖掘的基本思想(2%)
b. 數(shù)據(jù)挖掘基本方法介紹(2%)
c. 有監(jiān)督學(xué)習(xí)算法(4%)
d. 無監(jiān)督學(xué)習(xí)算法(2%)
a. Spark 基礎(chǔ)理論(2%)
b. Spark RDD 基本概念及常用操作(3%)
c. Spark 流式計算框架 Spark Streaming、Structured Streaming(5%)
d. Spark 交互式數(shù)據(jù)查詢框架 Spark SQL(5%)
e. Spark 機(jī)器學(xué)習(xí)算法庫 Spark MLlib 基本使用方法(15%)
f. Spark 圖計算框架 GraphX(5%)
a. 數(shù)據(jù)可視化入門基礎(chǔ)(1%)
b. Python 數(shù)據(jù)可視化入門(2%)
c. Python 高級數(shù)據(jù)可視化方法(1%)
b. 利用 Hive SQL 進(jìn)行數(shù)據(jù)清洗(2%)
c. 利用 Sqoop 進(jìn)行數(shù)據(jù)傳輸(1%)
d. 利用 Spark SQL 進(jìn)行數(shù)據(jù)讀取(2%)
e. 利用 Spark MLlib 進(jìn)行機(jī)器學(xué)習(xí)建模(8%)
f. 利用 Python 進(jìn)行建模結(jié)果數(shù)據(jù)可視化(1%)
這里分享一個你一定用得到的小程序——CDA數(shù)據(jù)分析師考試小程序。
它是專為CDA數(shù)據(jù)分析認(rèn)證考試報考打造的一款小程序。可以幫你快速報名考試、查成績、查證書、查積分,通過該小程序,考生可以享受更便捷的服務(wù)。
掃碼加入CDA小程序,與圈內(nèi)考生一同學(xué)習(xí)、交流、進(jìn)步!
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03