
Hadoop常見的45個問題解答
時至今日,Hadoop已成為最流行的離線數(shù)據(jù)處理平臺,然而它的集群配置起來并不簡單。如果你學(xué)習(xí)Hadoop不久,相信下面這45個問題會對你有所幫助。
在工作生活中,有些問題非常簡單,但往往搜索半天也找不到所需的答案,在Hadoop的學(xué)習(xí)與使用過程中同樣如此。這里為大家分享Hadoop集群設(shè)置中經(jīng)常出現(xiàn)的一些問題,以下為譯文:
單機(jī)(本地)模式
偽分布式模式
全分布式模式
2.單機(jī)(本地)模式中的注意點(diǎn)?
在單機(jī)模式(standalone)中不會存在守護(hù)進(jìn)程,所有東西都運(yùn)行在一個JVM上。這里同樣沒有DFS,使用的是本地文件系統(tǒng)。單機(jī)模式適用于開發(fā)過程中運(yùn)行MapReduce程序,這也是最少使用的一個模式。
3.偽分布模式中的注意點(diǎn)?
偽分布式(Pseudo)適用于開發(fā)和測試環(huán)境,在這個模式中,所有守護(hù)進(jìn)程都在同一臺機(jī)器上運(yùn)行。
4.VM是否可以稱為Pseudo?
不是,兩個事物,同時Pseudo只針對Hadoop。
5.全分布模式又有什么注意點(diǎn)?
全分布模式通常被用于生產(chǎn)環(huán)境,這里我們使用N臺主機(jī)組成一個Hadoop集群,Hadoop守護(hù)進(jìn)程運(yùn)行在每臺主機(jī)之上。這里會存在Namenode運(yùn)行的主機(jī),Datanode運(yùn)行的主機(jī),以及task tracker運(yùn)行的主機(jī)。在分布式環(huán)境下,主節(jié)點(diǎn)和從節(jié)點(diǎn)會分開。
6.Hadoop是否遵循UNIX模式?
是的,在UNIX用例下,Hadoop還擁有“conf”目錄。
7.Hadoop安裝在什么目錄下?
Cloudera和Apache使用相同的目錄結(jié)構(gòu),Hadoop被安裝在cd/usr/lib/hadoop-0.20/。
8.Namenode、Job tracker和task tracker的端口號是?
Namenode,70;Job tracker,30;Task tracker,60。
9.Hadoop的核心配置是什么?
Hadoop的核心配置通過兩個xml文件來完成:1,hadoop-default.xml;2,hadoop-site.xml。這些文件都使用xml格式,因此每個xml中都有一些屬性,包括名稱和值,但是當(dāng)下這些文件都已不復(fù)存在。
10.那當(dāng)下又該如何配置?
Hadoop現(xiàn)在擁有3個配置文件:1,core-site.xml;2,hdfs-site.xml;3,mapred-site.xml。這些文件都保存在conf/子目錄下。
11.RAM的溢出因子是?
溢出因子(Spill factor)是臨時文件中儲存文件的大小,也就是Hadoop-temp目錄。
12.fs.mapr.working.dir只是單一的目錄?
fs.mapr.working.dir只是一個目錄。
13.hdfs-site.xml的3個主要屬性?
dfs.name.dir決定的是元數(shù)據(jù)存儲的路徑以及DFS的存儲方式(磁盤或是遠(yuǎn)端)
dfs.data.dir決定的是數(shù)據(jù)存儲的路徑
fs.checkpoint.dir用于第二Namenode
14.如何退出輸入模式?
退出輸入的方式有:1,按ESC;2,鍵入:q(如果你沒有輸入任何當(dāng)下)或者鍵入:wq(如果你已經(jīng)輸入當(dāng)下),并且按下Enter。
15.當(dāng)你輸入hadoopfsck /造成“connection refused java exception’”時,系統(tǒng)究竟發(fā)生了什么?
這意味著Namenode沒有運(yùn)行在你的VM之上。
16.我們使用Ubuntu及Cloudera,那么我們該去哪里下載Hadoop,或者是默認(rèn)就與Ubuntu一起安裝?
這個屬于Hadoop的默認(rèn)配置,你必須從Cloudera或者Edureka的dropbox下載,然后在你的系統(tǒng)上運(yùn)行。當(dāng)然,你也可以自己配置,但是你需要一個Linux box,Ubuntu或者是Red Hat。在Cloudera網(wǎng)站或者是Edureka的Dropbox中有安裝步驟。
17.“jps”命令的用處?
這個命令可以檢查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作。
18.如何重啟Namenode?
點(diǎn)擊stop-all.sh,再點(diǎn)擊start-all.sh。
鍵入sudo hdfs(Enter),su-hdfs (Enter),/etc/init.d/ha(Enter),及/etc/init.d/hadoop-0.20-namenode start(Enter)。
19.Fsck的全名?
全名是:File System Check。
20.如何檢查Namenode是否正常運(yùn)行?
如果要檢查Namenode是否正常工作,使用命令/etc/init.d/hadoop-0.20-namenode status或者就是簡單的jps。
21.mapred.job.tracker命令的作用?
可以讓你知道哪個節(jié)點(diǎn)是Job Tracker。
22./etc /init.d命令的作用是?
/etc /init.d說明了守護(hù)進(jìn)程(服務(wù))的位置或狀態(tài),其實是LINUX特性,和Hadoop關(guān)系不大。
23.如何在瀏覽器中查找Namenode?
如果你確實需要在瀏覽器中查找Namenode,你不再需要localhost:8021,Namenode的端口號是50070。
24.如何從SU轉(zhuǎn)到Cloudera?
從SU轉(zhuǎn)到Cloudera只需要鍵入exit。
25.啟動和關(guān)閉命令會用到哪些文件?
Slaves及Masters。
26.Slaves由什么組成?
Slaves由主機(jī)的列表組成,每臺1行,用于說明數(shù)據(jù)節(jié)點(diǎn)。
27.Masters由什么組成?
Masters同樣是主機(jī)的列表組成,每臺一行,用于說明第二Namenode服務(wù)器。
28.hadoop-env.sh是用于做什么的?
hadoop-env.sh提供了Hadoop中. JAVA_HOME的運(yùn)行環(huán)境。
29.Master文件是否提供了多個入口?
是的你可以擁有多個Master文件接口。
30.hadoop-env.sh文件當(dāng)下的位置?
hadoop-env.sh現(xiàn)在位于conf。
31.在Hadoop_PID_DIR中,PID代表了什么?
PID代表了“Process ID”。
32./var/hadoop/pids用于做什么?
/var/hadoop/pids用來存儲PID。
33.hadoop-metrics.properties文件的作用是?
hadoop-metrics.properties被用做“Reporting”,控制Hadoop報告,初始狀態(tài)是“not to report”。
34.Hadoop需求什么樣的網(wǎng)絡(luò)?
Hadoop核心使用Shell(SSH)來驅(qū)動從節(jié)點(diǎn)上的服務(wù)器進(jìn)程,并在主節(jié)點(diǎn)和從節(jié)點(diǎn)之間使用password-less SSH連接。
35.全分布式環(huán)境下為什么需求password-less SSH?
這主要因為集群中通信過于頻繁,Job Tracker需要盡可能快的給Task Tracker發(fā)布任務(wù)。
36.這會導(dǎo)致安全問題嗎?
完全不用擔(dān)心。Hadoop集群是完全隔離的,通常情況下無法從互聯(lián)網(wǎng)進(jìn)行操作。與眾不同的配置,因此我們完全不需要在意這種級別的安全漏洞,比如說通過互聯(lián)網(wǎng)侵入等等。Hadoop為機(jī)器之間的連接提供了一個相對安全的方式。
37.SSH工作的端口號是?
SSH工作的端口號是NO.22,當(dāng)然可以通過它來配置,22是默認(rèn)的端口號。
38.SSH中的注意點(diǎn)還包括?
SSH只是個安全的shell通信,可以把它當(dāng)做NO.22上的一種協(xié)議,只需要配置一個密碼就可以安全的訪問。
39.為什么SSH本地主機(jī)需要密碼?
在SSH中使用密碼主要是增加安全性,在某些情況下也根本不會設(shè)置密碼通信。
40.如果在SSH中添加key,是否還需要設(shè)置密碼?
是的,即使在SSH中添加了key,還是需要設(shè)置密碼。
41.假如Namenode中沒有數(shù)據(jù)會怎么樣?
沒有數(shù)據(jù)的Namenode就不能稱之為Namenode,通常情況下,Namenode肯定會有數(shù)據(jù)。
42.當(dāng)Job Tracker宕掉時,Namenode會發(fā)生什么?
當(dāng)Job Tracker失敗時,集群仍然可以正常工作,只要Namenode沒問題。
43.是客戶端還是Namenode決定輸入的分片?
這并不是客戶端決定的,在配置文件中以及決定分片細(xì)則。
是的,只要對Hadoop環(huán)境足夠熟悉,你完全可以這么做。
45.是否可以在Windows上運(yùn)行Hadoop?
你最好不要這么做,Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系統(tǒng)。在Hadoop安裝中,Windows通常不會被使用,因為會出現(xiàn)各種各樣的問題。因此,Windows絕對不是Hadoop的推薦系統(tǒng)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03