
Spark是什么?用Spark進(jìn)行數(shù)據(jù)分析
1什么是Apache Spark?
Apache Spark是一個(gè)為速度和通用目標(biāo)設(shè)計(jì)的集群計(jì)算平臺(tái)。
從速度的角度看,Spark從流行的MapReduce模型繼承而來,可以更有效地支持多種類型的計(jì)算,如交互式查詢和流處理。速度在大數(shù)據(jù)集的處理中非常重要,它可以決定用戶可以交互式地處理數(shù)據(jù),還是等幾分鐘甚至幾小時(shí)。Spark為速度提供的一個(gè)重要特性是其可以在內(nèi)存中運(yùn)行計(jì)算,即使對(duì)基于磁盤的復(fù)雜應(yīng)用,Spark依然比MapReduce更有效。
從通用性來說,Spark可以處理之前需要多個(gè)獨(dú)立的分布式系統(tǒng)來處理的任務(wù),這些任務(wù)包括批處理應(yīng)用、交互式算法、交互式查詢和數(shù)據(jù)流。通過用同一個(gè)引擎支持這些任務(wù),Spark使得合并不同的處理類型變得簡(jiǎn)單,而合并操作在生產(chǎn)數(shù)據(jù)分析中頻繁使用。而且,Spark降低了維護(hù)不同工具的管理負(fù)擔(dān)。
Spark被設(shè)計(jì)的高度易訪問,用Python、Java、Scala和SQL提供簡(jiǎn)單的API,而且提供豐富的內(nèi)建庫(kù)。Spark也與其他大數(shù)據(jù)工具進(jìn)行了集成。特別地,Spark可以運(yùn)行在Hadoop的集群上,可以訪問任何Hadoop的數(shù)據(jù)源,包括Cassandra。2Spark 核心組件
Spark核心組件包含Spark的基本功能,有任務(wù)調(diào)度組件、內(nèi)存管理組件、容錯(cuò)恢復(fù)組件、與存儲(chǔ)系統(tǒng)交互的組件等。Spark核心組件提供了定義彈性分布式數(shù)據(jù)集(resilient distributed datasets,RDDs)的API,這組API是Spark主要的編程抽象。RDDs表示分布在多個(gè)不同機(jī)器節(jié)點(diǎn)上,可以被并行處理的數(shù)據(jù)集合。Spark核心組件提供許多API來創(chuàng)建和操作這些集合。
Spark SQLSpark SQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的包。它使得可以像Hive查詢語(yǔ)言(Hive Query Language, HQL)一樣通過SQL語(yǔ)句來查詢數(shù)據(jù),支持多種數(shù)據(jù)源,包括Hive表、Parquet和JSON。除了為Spark提供一個(gè)SQL接口外,Spark SQL允許開發(fā)人員將SQL查詢和由RDDs通過Python、Java和Scala支持的數(shù)據(jù)編程操作混合進(jìn)一個(gè)單一的應(yīng)用中,進(jìn)而將SQL與復(fù)雜的分析結(jié)合。與計(jì)算密集型環(huán)境緊密集成使得Spark SQL不同于任何其他開源的數(shù)據(jù)倉(cāng)庫(kù)工具。Spark SQL在Spark 1.0版本中引入Spark。
Shark是一個(gè)較老的由加利福尼亞大學(xué)和伯克利大學(xué)開發(fā)的Spark上的SQL項(xiàng)目,通過修改Hive而運(yùn)行在Spark上。現(xiàn)在已經(jīng)被Spark SQL取代,以提供與Spark引擎和API更好的集成。
Spark流(Spark Streaming)Spark流作為Spark的一個(gè)組件,可以處理實(shí)時(shí)流數(shù)據(jù)。流數(shù)據(jù)的例子有生產(chǎn)環(huán)境的Web服務(wù)器生成的日志文件,用戶向一個(gè)Web服務(wù)請(qǐng)求包含狀態(tài)更新的消息。Spark流提供一個(gè)和Spark核心RDD API非常匹配的操作數(shù)據(jù)流的API,使得編程人員可以更容易地了解項(xiàng)目,并且可以在操作內(nèi)存數(shù)據(jù)、磁盤數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的應(yīng)用之間快速切換。Spark流被設(shè)計(jì)為和Spark核心組件提供相同級(jí)別的容錯(cuò)性,吞吐量和可伸縮性。
MLlibSpark包含一個(gè)叫做MLlib的關(guān)于機(jī)器學(xué)習(xí)的庫(kù)。MLlib提供多種類型的機(jī)器學(xué)習(xí)算法,包括分類、回歸、聚類和協(xié)同過濾,并支持模型評(píng)估和數(shù)據(jù)導(dǎo)入功能。MLlib也提供一個(gè)低層的機(jī)器學(xué)習(xí)原語(yǔ),包括一個(gè)通用的梯度下降優(yōu)化算法。所有這些方法都可以應(yīng)用到一個(gè)集群上。
GraphXGraphX是一個(gè)操作圖(如社交網(wǎng)絡(luò)的好友圖)和執(zhí)行基于圖的并行計(jì)算的庫(kù)。與Spark流和Spark
SQL類似,GraphX擴(kuò)展了Spark RDD
API,允許我們用和每個(gè)節(jié)點(diǎn)和邊綁定的任意屬性來創(chuàng)建一個(gè)有向圖。GraphX也提供了各種各樣的操作圖的操作符,以及關(guān)于通用圖算法的一個(gè)庫(kù)。
集群管理器Cluster Managers在底層,Spark可以有效地從一個(gè)計(jì)算節(jié)點(diǎn)擴(kuò)展到成百上千個(gè)節(jié)點(diǎn)。為了在最大化靈活性的同時(shí)達(dá)到這個(gè)目標(biāo),Spark可以運(yùn)行在多個(gè)集群管理器上,包括Hadoop YARN,Apache Mesos和一個(gè)包含在Spark中的叫做獨(dú)立調(diào)度器的簡(jiǎn)易的集群管理器。如果你在一個(gè)空的機(jī)器群上安裝Spark,獨(dú)立調(diào)度器提供一個(gè)簡(jiǎn)單的方式;如果你已經(jīng)有一個(gè)Hadoop YARN或Mesos集群,Spark支持你的應(yīng)用允許在這些集群管理器上。第七章給出了不同的選擇,以及如何選擇正確的集群管理器。3誰(shuí)使用Spark?用Spark做什么?由于Spark是一個(gè)面向集群計(jì)算的通用框架,可用于許多不同的應(yīng)用。使用者主要有兩種:數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。我們仔細(xì)地分析一下這兩種人和他們使用Spark的方式。明顯地,典型的使用案例是不同的,但我們可以將他們粗略地分為兩類,數(shù)據(jù)科學(xué)和數(shù)據(jù)應(yīng)用。
數(shù)據(jù)科學(xué)的任務(wù)數(shù)據(jù)科學(xué),近幾年出現(xiàn)的一門學(xué)科,專注于分析數(shù)據(jù)。盡管沒有一個(gè)標(biāo)準(zhǔn)的定義,我們認(rèn)為一個(gè)數(shù)據(jù)科學(xué)家的主要工作是分析和建模數(shù)據(jù)。數(shù)據(jù)科學(xué)家可能會(huì)SQL,統(tǒng)計(jì)學(xué),預(yù)測(cè)模型(機(jī)器學(xué)習(xí)),用Python、MATLAB或R編程。數(shù)據(jù)科學(xué)家能將數(shù)據(jù)格式化,用于進(jìn)一步的分析。
數(shù)據(jù)科學(xué)家為了回答一個(gè)問題或進(jìn)行深入研究,會(huì)使用相關(guān)的技術(shù)分析數(shù)據(jù)。通常,他們的工作包含特殊的分析,所以他們使用交互式shell,以使得他們能在最短的時(shí)間內(nèi)看到查詢結(jié)果和代碼片段。Spark的速度和簡(jiǎn)單的API接口很好地符合這個(gè)目標(biāo),它的內(nèi)建庫(kù)意味著很多算法可以隨時(shí)使用。
Spark通過若干組件支持不同的數(shù)據(jù)科學(xué)任務(wù)。Spark shell使得用Python或Scala進(jìn)行交互式數(shù)據(jù)分析變得簡(jiǎn)單。Spark SQL也有一個(gè)獨(dú)立的SQL shell,可以用SQL進(jìn)行數(shù)據(jù)分析,也可以在Spark程序中或Spark shell中使用Spark SQL。MLlib庫(kù)支持機(jī)器學(xué)習(xí)和數(shù)據(jù)分析。而且,支持調(diào)用外部的MATLAB或R語(yǔ)言編寫的程序。Spark使得數(shù)據(jù)科學(xué)家可以用R或Pandas等工具處理包含大量數(shù)據(jù)的問題。
有時(shí),經(jīng)過初始的數(shù)據(jù)處理階段后,數(shù)據(jù)科學(xué)家的工作將被產(chǎn)品化,擴(kuò)展,加固(容錯(cuò)性),進(jìn)而成為一個(gè)生產(chǎn)數(shù)據(jù)處理應(yīng)用,作為商業(yè)應(yīng)用的一個(gè)組件。例如,一個(gè)數(shù)據(jù)科學(xué)家的研究成果可能會(huì)產(chǎn)生一個(gè)產(chǎn)品推薦系統(tǒng),集成到一個(gè)web應(yīng)用上,用來向用戶生成產(chǎn)品建議。通常由另外的人員(如工程師)對(duì)數(shù)據(jù)科學(xué)家的工作進(jìn)行產(chǎn)品化。
數(shù)據(jù)處理應(yīng)用Spark的另外一個(gè)主要的使用可以從工程師的角度進(jìn)行描述。在這里,工程師指使用Spark來構(gòu)建生產(chǎn)數(shù)據(jù)處理應(yīng)用的大量的軟件開發(fā)者。這些開發(fā)者了解軟件工程的概念和原則,如封裝、接口設(shè)計(jì)和面向?qū)ο缶幊?。他們通常有?jì)算機(jī)學(xué)科的學(xué)位。他們通過自己的軟件工程技能來設(shè)計(jì)和構(gòu)建實(shí)現(xiàn)某個(gè)商業(yè)使用場(chǎng)景的軟件系統(tǒng)。
對(duì)工程師而言,Spark提供了一個(gè)簡(jiǎn)單的方式在集群之間并行化這些應(yīng)用,隱藏了分布式系統(tǒng)、網(wǎng)絡(luò)通信和容錯(cuò)處理的復(fù)雜性。系統(tǒng)使得工程師在實(shí)現(xiàn)任務(wù)的同時(shí),有充足的權(quán)限監(jiān)控、檢查和調(diào)整應(yīng)用。API的模塊特性使得重用已有工作和本地測(cè)試變得簡(jiǎn)單。
Spark用戶使用Spark作為其數(shù)據(jù)處理應(yīng)用,因?yàn)樗峁┝素S富的功能,易于學(xué)習(xí)和使用,而且成熟可靠。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03