人們應(yīng)該知道的大數(shù)據(jù)術(shù)語(yǔ)
大數(shù)據(jù)帶來(lái)了許多新的術(shù)語(yǔ),但一些術(shù)語(yǔ)往往不太好理解。以下是人們應(yīng)該了解的大數(shù)據(jù)術(shù)語(yǔ)列表：
Apache軟件基金會(huì)(ASF)：提供了許多大數(shù)據(jù)的開(kāi)源項(xiàng)目，目前有350多個(gè)項(xiàng)目。是專門(mén)為支持開(kāi)源軟件項(xiàng)目而辦的一個(gè)非盈利性組織。在它所支持的Apache項(xiàng)目與子項(xiàng)目中，所發(fā)行的軟件產(chǎn)品都遵循Apache許可證。
Apache
Kafka：以著名的捷克作家命名的Apache
Kafka用于構(gòu)建實(shí)時(shí)數(shù)據(jù)流管道和流媒體應(yīng)用程序。為什么這么受歡迎?因?yàn)樗軌蛞匀蒎e(cuò)的方式存儲(chǔ)，管理和處理數(shù)據(jù)流，并且十分快速。鑒于社交網(wǎng)絡(luò)環(huán)境處理數(shù)據(jù)流，
Kafka目前非常受歡迎。
ApacheOozie：在任何編程環(huán)境中，需要一些工作流程系統(tǒng)來(lái)以預(yù)定義的方式和定義的依賴關(guān)系來(lái)安排和運(yùn)行工作。Oozie提供的大數(shù)據(jù)工作以Apachepig，MapReduce和
Hive等語(yǔ)言編寫(xiě)。
Apache Drill，Apache Impala，Apache Spark
SQL：所有這些都提供了快速和交互式的
SQL，如與Apache
Hadoop數(shù)據(jù)的交互。如果你已經(jīng)知道
SQL，并處理以大數(shù)據(jù)格式(即HBase或
HDFS)存儲(chǔ)的數(shù)據(jù)，這些功能將非常有用。
ApachePig：Pig是在大型分布式數(shù)據(jù)集上創(chuàng)建查詢執(zhí)行例程的平臺(tái)。所使用的腳本語(yǔ)言叫做PigLatin。據(jù)說(shuō)Pig很容易理解和學(xué)習(xí)。但問(wèn)題是有多少人能從Pig學(xué)到什么?
Apache Storm：一個(gè)免費(fèi)的開(kāi)源實(shí)時(shí)
分布式計(jì)算系統(tǒng)。它使得使用
Hadoop進(jìn)行批處理的瞬時(shí)處理可以更容易地處理非結(jié)構(gòu)化數(shù)據(jù)。
人工智能(AI)：人們可能會(huì)問(wèn)，為什么在這里會(huì)有人工智能?人工智能不是一個(gè)單獨(dú)的領(lǐng)域，所有這些趨勢(shì)技術(shù)都是如此相關(guān)，人工智能開(kāi)發(fā)智能機(jī)器和軟件的方式，使得硬件和軟件的這種組合能夠感知環(huán)境，在需要時(shí)采取必要的措施，并繼續(xù)學(xué)習(xí)這些操作。
行為分析：有沒(méi)有想過(guò)谷歌如何為人們需要的產(chǎn)品/服務(wù)提供廣告?行為分析側(cè)重于理解消費(fèi)者和應(yīng)用程序所做的事情，以及如何以及為什么它們以某種方式起作用。它是關(guān)于了解人們的網(wǎng)上沖浪模式，社交媒體互動(dòng)，電子商務(wù)行動(dòng)(購(gòu)物車等)，并連接這些無(wú)關(guān)的數(shù)據(jù)點(diǎn)，并試圖預(yù)測(cè)結(jié)果。
Brontobytes：10的27次冪，這是數(shù)字宇宙的大小。在這里，可以了解TB字節(jié)，PB字節(jié)，EB字節(jié)，ZB字節(jié)，YB字節(jié)，以及Brontobyte。人們今后會(huì)更多地了解這些術(shù)語(yǔ)。
商業(yè)智能(BI)：在這里引用調(diào)研機(jī)構(gòu)Gartner對(duì)
商業(yè)智能的定義。
商業(yè)智能(BI)是一個(gè)總括的術(shù)語(yǔ)，其中包括應(yīng)用程序，基礎(chǔ)設(shè)施和工具以及最佳實(shí)踐，可以訪問(wèn)和分析信息，以改善和優(yōu)化決策和績(jī)效。
生物
特征：這就是JamesBondish技術(shù)與分析技術(shù)相結(jié)合，通過(guò)一個(gè)或多個(gè)物理
特征識(shí)別人，如面部識(shí)別，虹膜識(shí)別，指紋識(shí)別等。
點(diǎn)擊流分析：用于分析用戶在網(wǎng)絡(luò)上瀏覽的在線點(diǎn)擊。曾經(jīng)想過(guò)為什么某些Google廣告還會(huì)繼續(xù)關(guān)注你，即使切換網(wǎng)站等?因?yàn)橹滥阍邳c(diǎn)擊什么。
聚類分析：試圖識(shí)別數(shù)據(jù)中的結(jié)構(gòu)的探索性分析。聚類分析也稱為分割分析或分類分析。更具體地說(shuō)，它試圖確定同一組案例，即觀察者，參與者，回答者。如果分組不是先前已知的，則使用聚類分析來(lái)識(shí)別病例組。因?yàn)樗翘剿餍缘?，它確定了依賴變量和獨(dú)立變量之間的區(qū)別。SPSS提供的不同的聚類分析方法可以處理二進(jìn)制，名義，順序和比例(間隔或比率)數(shù)據(jù)。
比較分析：大數(shù)據(jù)的核心在分析中。顧名思義，比較分析是使用諸如模式分析，過(guò)濾和
決策樹(shù)分析之類的統(tǒng)計(jì)技術(shù)來(lái)比較多個(gè)進(jìn)程，數(shù)據(jù)集或其他對(duì)象。人們知道它的技術(shù)性很差，但不能完全避開(kāi)這個(gè)術(shù)語(yǔ)。比較分析可用于醫(yī)療保健，比較大量的醫(yī)療記錄，文件，圖像等更有效和更準(zhǔn)確的醫(yī)療診斷。
連接分析：你一定已經(jīng)看到這些像蜘蛛網(wǎng)一樣的網(wǎng)絡(luò)圖表連接主題等，以識(shí)別某些主題的影響者。連接分析是有助于發(fā)現(xiàn)網(wǎng)絡(luò)中人員，產(chǎn)品和系統(tǒng)之間的這些相互關(guān)聯(lián)的連接和影響，甚至組合來(lái)自多個(gè)網(wǎng)絡(luò)的數(shù)據(jù)的分析。
數(shù)據(jù)分析師：數(shù)據(jù)分析師是一個(gè)非常重要和受歡迎的工作職位，除了準(zhǔn)備報(bào)告之外，它還負(fù)責(zé)收集，操縱和分析數(shù)據(jù)。
數(shù)據(jù)清理：這有點(diǎn)不言自明，它涉及從數(shù)據(jù)庫(kù)中檢測(cè)和糾正或刪除不準(zhǔn)確的數(shù)據(jù)或記錄。還記得“臟數(shù)據(jù)”嗎?那么，使用人工和自動(dòng)化工具和算法的組合，數(shù)據(jù)分析人員可以糾正和豐富數(shù)據(jù)以提高其質(zhì)量。記住，骯臟的數(shù)據(jù)會(huì)導(dǎo)致錯(cuò)誤的分析和錯(cuò)誤的決策。
DaaS：你有SaaS，PaaS和DaaS為代表的數(shù)據(jù)即服務(wù)嗎?通過(guò)向客戶提供按需訪問(wèn)云托管數(shù)據(jù)，DaaS提供商可以幫助快速獲取高質(zhì)量的數(shù)據(jù)。
數(shù)據(jù)虛擬化：這是數(shù)據(jù)管理的一種方法，允許應(yīng)用程序檢索和操作數(shù)據(jù)，而不需要其存儲(chǔ)位置及其格式等的技術(shù)細(xì)節(jié)。例如，社交網(wǎng)絡(luò)將人們的照片存儲(chǔ)在他們的網(wǎng)絡(luò)中。
臟數(shù)據(jù)：現(xiàn)在，大數(shù)據(jù)變得很流行，人們開(kāi)始在數(shù)據(jù)中添加形容詞，產(chǎn)生新的術(shù)語(yǔ)，如暗數(shù)據(jù)、臟數(shù)據(jù)、小數(shù)據(jù)，現(xiàn)在是智能數(shù)據(jù)。骯臟的數(shù)據(jù)就是不干凈的數(shù)據(jù)，換句話說(shuō)，是不準(zhǔn)確、重復(fù)的，以及不一致的數(shù)據(jù)。顯然，企業(yè)不希望與臟數(shù)據(jù)關(guān)聯(lián)。
模糊邏輯：人們對(duì)100%這樣的事物有多少把握?非常罕見(jiàn)。人類的大腦將數(shù)據(jù)聚合成部分真理，然后再抽象成某種閾值，來(lái)決定我們的反應(yīng)。模糊邏輯是一種通過(guò)模仿部分真理來(lái)模仿人腦的運(yùn)算，而不是像布爾代數(shù)的其余部分那樣的“0”和“1”這樣的絕對(duì)真理。模糊邏輯在自然語(yǔ)言處理中得到了廣泛的應(yīng)用，并已發(fā)展成為其他與數(shù)據(jù)相關(guān)的學(xué)科。
游戲化：在一個(gè)典型的游戲中，有人們喜歡的得分要素，與他人競(jìng)爭(zhēng)，某些游戲規(guī)則等元素。大數(shù)據(jù)中的游戲化是使用這些概念來(lái)收集數(shù)據(jù)或分析數(shù)據(jù)或通常激勵(lì)用戶。
圖形數(shù)據(jù)庫(kù)：圖形數(shù)據(jù)庫(kù)使用的概念，如節(jié)點(diǎn)和邊界代表人員/企業(yè)和他們的相互關(guān)系，從社交媒體挖掘數(shù)據(jù)。曾經(jīng)想過(guò)，亞馬遜如何告訴你在購(gòu)買(mǎi)產(chǎn)品時(shí)，別人買(mǎi)了什么?是的，圖形數(shù)據(jù)庫(kù)!
Hadoop用戶體驗(yàn)(Hue)：Hue是一個(gè)開(kāi)放源代碼界面，使Apache
Hadoop變得更加容易。它是一個(gè)基于Web的應(yīng)用程序，并且具有用于
HDFS的文件瀏覽器，MapReduce的作業(yè)設(shè)計(jì)器，用于制作協(xié)調(diào)器和工作流程的Oozie應(yīng)用程序，Shell，Impala和
HiveUI以及一組
HadoopAPI。
HANA：高性能分析應(yīng)用程序，來(lái)自SAP的軟件/硬件內(nèi)存中平臺(tái)，專為大量數(shù)據(jù)交易和分析而設(shè)計(jì)。
HBase：一個(gè)分布式，面向列的數(shù)據(jù)庫(kù)。它使用
HDFS作為其底層存儲(chǔ)，并支持使用MapReduce和事務(wù)交互的批量計(jì)算。
負(fù)載平衡：跨多臺(tái)計(jì)算機(jī)或服務(wù)器分布工作負(fù)載，以實(shí)現(xiàn)系統(tǒng)的最佳結(jié)果和利用率。
元數(shù)據(jù)：元數(shù)據(jù)是描述其他數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)總結(jié)了有關(guān)數(shù)據(jù)的基本信息，可以使查找和處理特定數(shù)據(jù)實(shí)例更容易。例如，作者，創(chuàng)建日期和日期修改以及文件大小是非?；镜奈臋n元數(shù)據(jù)。除文檔文件外，元數(shù)據(jù)也用于圖像，視頻，電子表格和網(wǎng)頁(yè)。
Mongo DB：一個(gè)跨平臺(tái)的開(kāi)源數(shù)據(jù)庫(kù)，它使用面向文檔的數(shù)據(jù)模型，而不是傳統(tǒng)的基于關(guān)系數(shù)據(jù)庫(kù)的
表結(jié)構(gòu)。這種類型的數(shù)據(jù)庫(kù)結(jié)構(gòu)旨在使結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在某些類型的應(yīng)用程序中更加容易和快速地集成。
Mashup：幸運(yùn)的是，這個(gè)術(shù)語(yǔ)對(duì)于我們?cè)谌粘Ｉ钪辛私鈓ashup的定義類似?；旧希琈ashup是將不同數(shù)據(jù)集合并為單個(gè)應(yīng)用程序的一種方法(示例：將房地產(chǎn)清單與人口統(tǒng)計(jì)數(shù)據(jù)或地理數(shù)據(jù)相結(jié)合)。這是一個(gè)非常好的可視化。
多維數(shù)據(jù)庫(kù)：針對(duì)數(shù)據(jù)在線分析處理(OLAP)應(yīng)用程序和
數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行優(yōu)化的數(shù)據(jù)庫(kù)。它只不過(guò)是數(shù)據(jù)多個(gè)數(shù)據(jù)源的中央存儲(chǔ)庫(kù)。
多值數(shù)據(jù)庫(kù)：它們是一種直接了解三維數(shù)據(jù)的No
SQL和多維數(shù)據(jù)庫(kù)。它們直接用于直接操作HTML和XML字符串。
自然語(yǔ)言處理：為使計(jì)算機(jī)更精確地理解日常人類語(yǔ)言而設(shè)計(jì)的軟件算法，使人們能夠更自然、更有效地與之交互。
模式識(shí)別：當(dāng)一個(gè)算法在大數(shù)據(jù)集或不同的數(shù)據(jù)集中定位遞歸或規(guī)律時(shí)，就會(huì)出現(xiàn)模式識(shí)別。它緊密相連，甚至被認(rèn)為是
機(jī)器學(xué)習(xí)和
數(shù)據(jù)挖掘的代名詞。這種可見(jiàn)性可以幫助研究人員發(fā)現(xiàn)見(jiàn)解或得出結(jié)論，否則會(huì)被掩蓋。
RFID-射頻識(shí)別：一種使用無(wú)線非接觸式射頻電磁場(chǎng)傳輸數(shù)據(jù)的傳感器。隨著物聯(lián)網(wǎng)革命，RFID標(biāo)簽可以嵌入到每一個(gè)可能的“東西”中，以產(chǎn)生需要分析的巨大數(shù)據(jù)量。
SaaS：軟件即服務(wù)，使供應(yīng)商能夠托管應(yīng)用程序并通過(guò)互聯(lián)網(wǎng)使其可用。SaaS提供商通過(guò)
云計(jì)算提供服務(wù)。
半結(jié)構(gòu)化數(shù)據(jù)：半結(jié)構(gòu)化數(shù)據(jù)是指以常規(guī)方式未被捕獲或格式化的數(shù)據(jù)，例如與傳統(tǒng)數(shù)據(jù)庫(kù)
字段或公共數(shù)據(jù)模型相關(guān)聯(lián)的數(shù)據(jù)。它也不是原始的或完全非結(jié)構(gòu)化的，并且可能包含一些數(shù)據(jù)表，標(biāo)簽或其他結(jié)構(gòu)元素。圖形和表格，XML文檔和電子郵件是半結(jié)構(gòu)化數(shù)據(jù)的示例，它在萬(wàn)維網(wǎng)上是非常普遍的，通常在面向?qū)ο蟮臄?shù)據(jù)庫(kù)中。
情緒分析：情緒分析涉及捕捉和跟蹤消費(fèi)者在各種交互或文件(包括社交媒體，客戶服務(wù)代表呼叫，調(diào)查等)中表達(dá)的意見(jiàn)，情緒或感受。文本分析和自然語(yǔ)言處理是情緒分析過(guò)程中的典型活動(dòng)。目標(biāo)是確定或評(píng)估對(duì)公司，產(chǎn)品，服務(wù)，人員或事件表達(dá)的情緒或態(tài)度。
空間分析：指分析地理數(shù)據(jù)或拓?fù)鋽?shù)據(jù)的空間數(shù)據(jù)，以識(shí)別和理解分布在地理空間中的數(shù)據(jù)內(nèi)的模式和規(guī)律。
流處理：流處理旨在通過(guò)“連續(xù)”查詢對(duì)實(shí)時(shí)和流數(shù)據(jù)進(jìn)行操作。隨著從社交網(wǎng)絡(luò)不斷流出的數(shù)據(jù)，流處理和流分析的確需要在這些流中不間斷地計(jì)算數(shù)學(xué)或
統(tǒng)計(jì)分析，以便實(shí)時(shí)處理大量的數(shù)據(jù)。
智能數(shù)據(jù)：智能數(shù)據(jù)據(jù)稱是在通過(guò)算法進(jìn)行的一些過(guò)濾之后，其數(shù)據(jù)是有用的和可操作的。
TB字節(jié)：一個(gè)相對(duì)較大的數(shù)字?jǐn)?shù)據(jù)單元，一T字節(jié)(TB)等于1000GB字節(jié)。據(jù)估計(jì)，10T字節(jié)可以容納美國(guó)國(guó)會(huì)圖書(shū)館的全部印刷品，而1T字節(jié)可以容納1000份百科全書(shū)。
可視化：通過(guò)正確的可視化，原始數(shù)據(jù)可以投入使用。當(dāng)然可視化并不意味著普通的圖形或餅圖。它們是指可以包含許多數(shù)據(jù)變量的復(fù)雜圖形，同時(shí)仍然可以理解和可讀
Yabyabytes：約1000ZB，或2500億張的DVD容量。如今的整個(gè)數(shù)字宇宙是1 Yabyabytes，這將每18個(gè)月翻一番。
Zettabytes：大約1000EB字節(jié)或10億TB字節(jié)。
CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：
? 想報(bào)名CDA認(rèn)證考試，點(diǎn)擊>>>
“CDA報(bào)名”
了解CDA考試詳情；
? 想學(xué)習(xí)CDA考試教材，點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情；
? 想加入CDA考試題庫(kù)，點(diǎn)擊>>> “CDA題庫(kù)” 了解CDA考試詳情；
? 想了解CDA考試含金量，點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情；
京公網(wǎng)安備 11010802034615號(hào)
經(jīng)營(yíng)許可證編號(hào)：京B2-20210330
