
在一臺(tái)虛擬機(jī)上安裝了CentOS以后,可以復(fù)制該虛擬機(jī)(復(fù)制虛擬機(jī)Image所在目錄),并且修改主機(jī)名、進(jìn)行網(wǎng)絡(luò)配置修改(IP地址),構(gòu)造3臺(tái)虛擬機(jī)構(gòu)成的集群
如果通過(guò)復(fù)制虛擬機(jī)Image的方式,建立另外兩個(gè)虛擬機(jī)碰到問(wèn)題,不好解決。所以最好是新建虛擬機(jī)2和虛擬機(jī)3,全新安裝CentOS和進(jìn)行相關(guān)配置,包括網(wǎng)絡(luò)配置、Samba、SSHD、Yum等
vm里面有3臺(tái)主機(jī),每個(gè)主機(jī)都是centos系統(tǒng),上面都安裝了Hadoop,
hd-master
節(jié)點(diǎn)的配置如下
192.168.31.131
255.255.255.0
192.168.31.2
hd-slave1
節(jié)點(diǎn)的配置如下
192.168.31.132
255.255.255.0
192.168.31.2
hd-slave2
節(jié)點(diǎn)的配置如下
192.168.31.133
255.255.255.0
192.168.31.2
windows
的vmnet8配置如下
192.168.31.1
255.255.255.0
192.168.31.2
無(wú)線網(wǎng)卡
節(jié)點(diǎn)的配置如下
192.168.1.100
255.255.255.0
192.168.1.1
為了安裝Hadoop,首先需要安裝特定版本的JDK 查看安裝的JDK信息
rpm -qa | grep java
卸載當(dāng)前的jdk
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.31-2.b13.el7.x86_64
rpm -e --nodeps tzdata-java-2015a-1.el7.noarch
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.34-1.13.6.1.el7_0.x86_64
將安裝包jdk-8u144-linux-x64.tar.gz 傳到/opt/linuxsir/java
解壓和安裝
mkdir -p /opt/linuxsir/java
cd /opt/linuxsir/java
tar -zxvf /opt/linuxsir/java/jdk-8u144-linux-x64.tar.gz
ls jdk1.8.0_144
mv jdk1.8.0_144 jdk
ls /opt/linuxsir/java/jdk
編輯/root/.bashrc文件,增加如下內(nèi)容
ls /opt/linuxsir/java/jdk/jre/lib/rt.jar \查看文件是否存在
ls /opt/linuxsir/java/jdk/lib/dt.jar
ls /opt/linuxsir/java/jdk/lib/tools.jar
echo "export JAVA_HOME=/opt/linuxsir/java/jdk" >> /root/.bashrc
echo "export JRE_HOME=$JAVA_HOME/jre" >> /root/.bashrc
echo "export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" >> /root/.bashrc
echo "export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar" >> /root/.bashrc
cat /root/.bashrc
重新讀取并生效.bashrc
cd \進(jìn)入/root目錄,即root用戶的主目錄
source .bashrc
scp -r /opt/linuxsir/java/jdk root@192.168.31.132:/opt/linuxsir/java \拷貝jdk
scp -r /opt/linuxsir/java/jdk root@192.168.31.133:/opt/linuxsir/java
scp -r /root/.bashrc root@192.168.31.132:/root/.bashrc \拷貝/root/.bashrc
scp -r /root/.bashrc root@192.168.31.133:/root/.bashrc
ssh root@192.168.31.132 source ~/.bashrc \刷新環(huán)境變量
ssh root@192.168.31.133 source ~/.bashrc
ssh root@192.168.31.132 java -version \查看JDK版本
ssh root@192.168.31.133 java -version
為192.168.31.131、192.168.31.132、192.168.31.133等3臺(tái)虛擬機(jī)配置別名
三臺(tái)機(jī)器的/etc/hostname的內(nèi)容分別是hd-master、hd-slave1、hd-slave2
比如,在192.168.31.131上
cat /etc/hostname
rm -rf /etc/hostname
touch /etc/hostname
echo "hd-master" >> /etc/hostname
cat /etc/hostname| grep hd-master
另外2個(gè)主機(jī)運(yùn)行類似的命令,注意主機(jī)名分別為hd-slave1、hd-slave2。
192.168.31.131、192.168.31.132、192.168.31.133三臺(tái)虛擬機(jī)的/etc/hosts內(nèi)容一樣
192.168.31.131 hd-master
192.168.31.132 hd-slave1
192.168.31.133 hd-slave2
127.0.0.1 localhost \ 這行放在最后
在三臺(tái)虛擬機(jī)上執(zhí)行如下命令
rm -rf /etc/hosts
touch /etc/hosts
echo "192.168.31.131 hd-master" >>/etc/hosts
echo "192.168.31.132 hd-slave1" >>/etc/hosts
echo "192.168.31.133 hd-slave2" >>/etc/hosts
echo "127.0.0.1 localhost" >>/etc/hosts
echo "" >>/etc/hosts
cat /etc/hosts
Linux虛擬機(jī)之間的無(wú)密碼ssh登錄,使得我們可以在hd-master上,方便地啟動(dòng)Hadoop服務(wù)進(jìn)程,這些服務(wù)進(jìn)程包括主節(jié)點(diǎn)的進(jìn)程和從節(jié)點(diǎn)的進(jìn)程
當(dāng)從主節(jié)點(diǎn)啟動(dòng)從節(jié)點(diǎn)的進(jìn)程的時(shí)候,系統(tǒng)無(wú)需等待用戶輸入密碼
在192.168.31.131、192.168.31.132、192.168.31.133三臺(tái)虛擬機(jī)上執(zhí)行如下命令,配置sshd
編輯/etc/ssh/sshd_config,去掉以下兩行注釋,即把行首的#去掉,并且設(shè)置AuthorizedKeysFile
#RSAAuthentication yes # 啟用 RSA 認(rèn)證
#PubkeyAuthentication yes # 啟用公鑰私鑰配對(duì)認(rèn)證方式
AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑(和下面生成的文件同名)
無(wú)密碼ssh登錄 在192.168.31.131、192.168.31.132、192.168.31.133上執(zhí)行如下命令,生成key
whoami
cd
pwd
ssh-keygen -t rsa \生成密鑰文件
ls /root/.ssh/id_rsa \文件在/root/.ssh/id_rsa
在192.168.1.131上執(zhí)行如下命令,從另外兩臺(tái)機(jī)器(132/133),合并公鑰到authorized_keys文件
cd ~/.ssh
ls authorized_keys
rm -rf authorized_keys
cat id_rsa.pub >> authorized_keys
ssh root@192.168.31.132 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh root@192.168.31.133 cat ~/.ssh/id_rsa.pub >> authorized_keys
從192.168.31.131,復(fù)制~/.ssh/authorized_keys和 ~/.ssh/known_hosts兩個(gè)文件到另外兩臺(tái)機(jī)器192.168.31.132、192.3168.1.133
這時(shí)候,每臺(tái)機(jī)器(CentOS)均有3臺(tái)機(jī)器的公鑰
cd ~/.ssh
scp authorized_keys root@192.168.31.132:~/.ssh
scp authorized_keys root@192.168.31.133:~/.ssh
scp known_hosts root@192.168.31.132:~/.ssh
scp known_hosts root@192.168.31.133:~/.ssh
在192.168.31.131上執(zhí)行如下命令,修改192.168.31.131/132/133等三臺(tái)機(jī)器上的~/.ssh/authorized_keys權(quán)限
cd ~/.ssh
ls authorized_keys
ssh root@192.168.31.132 ls ~/.ssh/authorized_keys
ssh root@192.168.31.133 ls ~/.ssh/authorized_keys
cd ~/.ssh
chmod 700 authorized_keys
ssh root@192.168.31.132 chmod 700 ~/.ssh/authorized_keys
ssh root@192.168.31.133 chmod 700 ~/.ssh/authorized_keys
在192.168.31.131、192.168.31.132、192.3168.1.133上執(zhí)行如下命令,重啟sshd
service sshd restart
\或者用/etc/init.d/sshd restart
測(cè)試無(wú)密碼登錄
\在192.168.31.131上,測(cè)試無(wú)密碼登錄132/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit
\在192.168.31.132上,測(cè)試無(wú)密碼登錄131/133
ssh root@192.168.31.131
exit
ssh root@192.168.31.133
exit
\在192.168.31.133上,測(cè)試無(wú)密碼登錄131/132
ssh root@192.168.31.131
exit
ssh root@192.168.31.132
exit
針對(duì)不同知識(shí),掌握程度的要求分為【領(lǐng)會(huì)】、【熟知】、【應(yīng)用】三個(gè)級(jí)別,考生應(yīng)按照不同知識(shí)要求進(jìn)行學(xué)習(xí)。
1.領(lǐng)會(huì):考生能夠領(lǐng)會(huì)了解規(guī)定的知識(shí)點(diǎn),并能夠了解規(guī)定知識(shí)點(diǎn)的內(nèi)涵與外延,了 解其內(nèi)容要點(diǎn)和它們之間的區(qū)別與聯(lián)系,并能做出正確的闡述、解釋和說(shuō)明。
2.熟知:考生須掌握知識(shí)的要點(diǎn),并能夠正確理解和記憶相關(guān)理論方法,能夠根據(jù)不 同要求,做出邏輯嚴(yán)密的解釋、說(shuō)明和闡述。此部分為考試的重點(diǎn)部分。
3.應(yīng)用:考生須學(xué)會(huì)將知識(shí)點(diǎn)落地實(shí)踐,并能夠結(jié)合相關(guān)工具進(jìn)行商業(yè)應(yīng)用,能夠根 據(jù)具體要求,給出問(wèn)題的具體實(shí)施流程和策略。
a. 大數(shù)據(jù)分析基礎(chǔ)(1%)
b. Python 基礎(chǔ)(5%)
c. Linux & Ubuntu 操作系統(tǒng)基礎(chǔ)(2%)
a. Hadoop 安裝配置及運(yùn)行機(jī)制解析(2%)
b. HDFS 分布式文件系統(tǒng)(2%)
c. MapReduce 理論及實(shí)戰(zhàn)(2%)
d. Hadoop 生態(tài)其他常用組件(6%)
a. 數(shù)據(jù)庫(kù)導(dǎo)論(2%)
b. MySQL 理論及實(shí)戰(zhàn)(3%)
c. HBase 安裝及使用(3%)
d. Hive 安裝及使用(5%)
e. Sqoop 安裝及使用(3%)
a. 數(shù)據(jù)挖掘的基本思想(2%)
b. 數(shù)據(jù)挖掘基本方法介紹(2%)
c. 有監(jiān)督學(xué)習(xí)算法(4%)
d. 無(wú)監(jiān)督學(xué)習(xí)算法(2%)
a. Spark 基礎(chǔ)理論(2%)
b. Spark RDD 基本概念及常用操作(3%)
c. Spark 流式計(jì)算框架 Spark Streaming、Structured Streaming(5%)
d. Spark 交互式數(shù)據(jù)查詢框架 Spark SQL(5%)
e. Spark 機(jī)器學(xué)習(xí)算法庫(kù) Spark MLlib 基本使用方法(15%)
f. Spark 圖計(jì)算框架 GraphX(5%)
a. 數(shù)據(jù)可視化入門基礎(chǔ)(1%)
b. Python 數(shù)據(jù)可視化入門(2%)
c. Python 高級(jí)數(shù)據(jù)可視化方法(1%)
b. 利用 Hive SQL 進(jìn)行數(shù)據(jù)清洗(2%)
c. 利用 Sqoop 進(jìn)行數(shù)據(jù)傳輸(1%)
d. 利用 Spark SQL 進(jìn)行數(shù)據(jù)讀取(2%)
e. 利用 Spark MLlib 進(jìn)行機(jī)器學(xué)習(xí)建模(8%)
f. 利用 Python 進(jìn)行建模結(jié)果數(shù)據(jù)可視化(1%)
這里分享一個(gè)你一定用得到的小程序——CDA數(shù)據(jù)分析師考試小程序。
它是專為CDA數(shù)據(jù)分析認(rèn)證考試報(bào)考打造的一款小程序??梢詭湍憧焖賵?bào)名考試、查成績(jī)、查證書、查積分,通過(guò)該小程序,考生可以享受更便捷的服務(wù)。
掃碼加入CDA小程序,與圈內(nèi)考生一同學(xué)習(xí)、交流、進(jìn)步!
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10CDA 數(shù)據(jù)分析師:商業(yè)數(shù)據(jù)分析實(shí)踐的落地者與價(jià)值創(chuàng)造者 商業(yè)數(shù)據(jù)分析的價(jià)值,最終要在 “實(shí)踐” 中體現(xiàn) —— 脫離業(yè)務(wù)場(chǎng)景的分 ...
2025-09-10機(jī)器學(xué)習(xí)解決實(shí)際問(wèn)題的核心關(guān)鍵:從業(yè)務(wù)到落地的全流程解析 在人工智能技術(shù)落地的浪潮中,機(jī)器學(xué)習(xí)作為核心工具,已廣泛應(yīng)用于 ...
2025-09-09SPSS 編碼狀態(tài)區(qū)域中 Unicode 的功能與價(jià)值解析 在 SPSS(Statistical Product and Service Solutions,統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案 ...
2025-09-09