
時至今日,Hadoop已成為最流行的離線數(shù)據(jù)處理平臺,然而它的集群配置起來并不簡單。如果你學習Hadoop不久,相信下面這45個問題會對你有所幫助。
在工作生活中,有些問題非常簡單,但往往搜索半天也找不到所需的答案,在Hadoop的學習與使用過程中同樣如此。這里為大家分享Hadoop集群設(shè)置中經(jīng)常出現(xiàn)的一些問題,以下為譯文:
1.Hadoop集群可以運行的3個模式?
單機(本地)模式
偽分布式模式
全分布式模式
2. 單機(本地)模式中的注意點?
在單機模式(standalone)中不會存在守護進程,所有東西都運行在一個JVM上。這里同樣沒有DFS,使用的是本地文件系統(tǒng)。單機模式適用于開發(fā)過程中運行MapReduce程序,這也是最少使用的一個模式。
3. 偽分布模式中的注意點?
偽分布式(Pseudo)適用于開發(fā)和測試環(huán)境,在這個模式中,所有守護進程都在同一臺機器上運行。
4. VM是否可以稱為Pseudo?
不是,兩個事物,同時Pseudo只針對Hadoop。
5. 全分布模式又有什么注意點?
全分布模式通常被用于生產(chǎn)環(huán)境,這里我們使用N臺主機組成一個Hadoop集群,Hadoop守護進程運行在每臺主機之上。這里會存在Namenode運行的主機,Datanode運行的主機,以及task tracker運行的主機。在分布式環(huán)境下,主節(jié)點和從節(jié)點會分開。
6. Hadoop是否遵循UNIX模式?
是的,在UNIX用例下,Hadoop還擁有“conf”目錄。
7. Hadoop安裝在什么目錄下?
Cloudera和Apache使用相同的目錄結(jié)構(gòu),Hadoop被安裝在cd/usr/lib/hadoop-0.20/。
8. Namenode、Job tracker和task tracker的端口號是?
Namenode,70;Job tracker,30;Task tracker,60。
9. Hadoop的核心配置是什么?
Hadoop的核心配置通過兩個xml文件來完成:1,hadoop-default.xml;2,hadoop-site.xml。這些文件都使用xml格式,因此每個xml中都有一些屬性,包括名稱和值,但是當下這些文件都已不復(fù)存在。
10. 那當下又該如何配置?
Hadoop現(xiàn)在擁有3個配置文件:1,core-site.xml;2,hdfs-site.xml;3,mapred-site.xml。這些文件都保存在conf/子目錄下。
11. RAM的溢出因子是?
溢出因子(Spill factor)是臨時文件中儲存文件的大小,也就是Hadoop-temp目錄。
12. fs.mapr.working.dir只是單一的目錄?
fs.mapr.working.dir只是一個目錄。
13. hdfs-site.xml的3個主要屬性?
dfs.name.dir決定的是元數(shù)據(jù)存儲的路徑以及DFS的存儲方式(磁盤或是遠端)
dfs.data.dir決定的是數(shù)據(jù)存儲的路徑
fs.checkpoint.dir用于第二Namenode
14. 如何退出輸入模式?
退出輸入的方式有:1,按ESC;2,鍵入:q(如果你沒有輸入任何當下)或者鍵入:wq(如果你已經(jīng)輸入當下),并且按下Enter。
15. 當你輸入hadoopfsck /造成“connection refused java exception’”時,系統(tǒng)究竟發(fā)生了什么?
這意味著Namenode沒有運行在你的VM之上。
16. 我們使用Ubuntu及Cloudera,那么我們該去哪里下載Hadoop,或者是默認就與Ubuntu一起安裝?
這個屬于Hadoop的默認配置,你必須從Cloudera或者Edureka的dropbox下載,然后在你的系統(tǒng)上運行。當然,你也可以自己配置,但是你需要一個Linux box,Ubuntu或者是Red Hat。在Cloudera網(wǎng)站或者是Edureka的Dropbox中有安裝步驟。
17. “jps”命令的用處?
這個命令可以檢查Namenode、Datanode、Task Tracker、 Job Tracker是否正常工作。
18. 如何重啟Namenode?
點擊stop-all.sh,再點擊start-all.sh。
鍵入sudo hdfs(Enter),su-hdfs (Enter),/etc/init.d/ha(Enter),及/etc/init.d/hadoop-0.20-namenode start(Enter)。
19. Fsck的全名?
全名是:File System Check。
20. 如何檢查Namenode是否正常運行?
如果要檢查Namenode是否正常工作,使用命令/etc/init.d/hadoop-0.20-namenode status或者就是簡單的jps。
21. mapred.job.tracker命令的作用?
可以讓你知道哪個節(jié)點是Job Tracker。
22. /etc /init.d命令的作用是?
/etc /init.d說明了守護進程(服務(wù))的位置或狀態(tài),其實是LINUX特性,和Hadoop關(guān)系不大。
23. 如何在瀏覽器中查找Namenode?
如果你確實需要在瀏覽器中查找Namenode,你不再需要localhost:8021,Namenode的端口號是50070。
24. 如何從SU轉(zhuǎn)到Cloudera?
從SU轉(zhuǎn)到Cloudera只需要鍵入exit。
25. 啟動和關(guān)閉命令會用到哪些文件?
Slaves及Masters。
26. Slaves由什么組成?
Slaves由主機的列表組成,每臺1行,用于說明數(shù)據(jù)節(jié)點。
27. Masters由什么組成?
Masters同樣是主機的列表組成,每臺一行,用于說明第二Namenode服務(wù)器。
28. hadoop-env.sh是用于做什么的?
hadoop-env.sh提供了Hadoop中. JAVA_HOME的運行環(huán)境。
29. Master文件是否提供了多個入口?
是的你可以擁有多個Master文件接口。
30. hadoop-env.sh文件當下的位置?
hadoop-env.sh現(xiàn)在位于conf。
31. 在Hadoop_PID_DIR中,PID代表了什么?
PID代表了“Process ID”。
32. /var/hadoop/pids用于做什么?
/var/hadoop/pids用來存儲PID。
33. hadoop-metrics.properties文件的作用是?
hadoop-metrics.properties被用做“Reporting”,控制Hadoop報告,初始狀態(tài)是“not to report”。
34. Hadoop需求什么樣的網(wǎng)絡(luò)?
Hadoop核心使用Shell(SSH)來驅(qū)動從節(jié)點上的服務(wù)器進程,并在主節(jié)點和從節(jié)點之間使用password-less SSH連接。
35. 全分布式環(huán)境下為什么需求password-less SSH?
這主要因為集群中通信過于頻繁,Job Tracker需要盡可能快的給Task Tracker發(fā)布任務(wù)。
36. 這會導致安全問題嗎?
完全不用擔心。Hadoop集群是完全隔離的,通常情況下無法從互聯(lián)網(wǎng)進行操作。與眾不同的配置,因此我們完全不需要在意這種級別的安全漏洞,比如說通過互聯(lián)網(wǎng)侵入等等。Hadoop為機器之間的連接提供了一個相對安全的方式。
37. SSH工作的端口號是?
SSH工作的端口號是NO.22,當然可以通過它來配置,22是默認的端口號。
38. SSH中的注意點還包括?
SSH只是個安全的shell通信,可以把它當做NO.22上的一種協(xié)議,只需要配置一個密碼就可以安全的訪問。
39. 為什么SSH本地主機需要密碼?
在SSH中使用密碼主要是增加安全性,在某些情況下也根本不會設(shè)置密碼通信。
40. 如果在SSH中添加key,是否還需要設(shè)置密碼?
是的,即使在SSH中添加了key,還是需要設(shè)置密碼。
41. 假如Namenode中沒有數(shù)據(jù)會怎么樣?
沒有數(shù)據(jù)的Namenode就不能稱之為Namenode,通常情況下,Namenode肯定會有數(shù)據(jù)。
42. 當Job Tracker宕掉時,Namenode會發(fā)生什么?
當Job Tracker失敗時,集群仍然可以正常工作,只要Namenode沒問題。
43. 是客戶端還是Namenode決定輸入的分片?
這并不是客戶端決定的,在配置文件中以及決定分片細則。
44. 是否可以自行搭建Hadoop集群?
是的,只要對Hadoop環(huán)境足夠熟悉,你完全可以這么做。
45. 是否可以在Windows上運行Hadoop?
你最好不要這么做,Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系統(tǒng)。在Hadoop安裝中,Windows通常不會被使用,因為會出現(xiàn)各種各樣的問題。因此,Windows絕對不是Hadoop的推薦系統(tǒng)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10