大數(shù)據(jù)入門你必須知道的關(guān)鍵詞

算法與分析法

算法 (Algorithms)-可以完成某種數(shù)據(jù)分析的數(shù)學(xué)公式。算法被用于軟件處理與分析輸入的數(shù)據(jù)。

分析法(Analytics)–用于發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在涵義。通過(guò)分析，無(wú)用雜亂的數(shù)據(jù)可以轉(zhuǎn)化成有益的結(jié)論。這里的重點(diǎn)是數(shù)據(jù)的影響力，而不是復(fù)雜的軟件系統(tǒng)。這可能就是為何大家使用數(shù)據(jù)來(lái)完成自己的論述。數(shù)據(jù)分析有三種不同的類型：

描述性分析(Descriptive Analytics)-把大數(shù)據(jù)分成小塊的信息分析，類似于總結(jié)數(shù)據(jù)所描述的故事。描述性分析不呈現(xiàn)每一組細(xì)節(jié)和數(shù)據(jù)，它描述了數(shù)據(jù)的基本特征，完成從“數(shù)據(jù)”到“信息”的轉(zhuǎn)化。

預(yù)測(cè)性分析(Predictive analysis)–大數(shù)據(jù)分析方法中最有價(jià)值的一種分析方法，這種方法有助于預(yù)測(cè)個(gè)人未來(lái)(近期)的行為。通過(guò)使用各種不同的數(shù)據(jù)集，來(lái)識(shí)別風(fēng)險(xiǎn)和機(jī)遇。預(yù)測(cè)很難達(dá)到100%的準(zhǔn)確性，但是它提供了未來(lái)趨勢(shì)的見(jiàn)解。這種預(yù)測(cè)分析通常包含了數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)。

規(guī)范性分析 (Prescriptive Analytics)–不僅要利用“當(dāng)前和過(guò)去的數(shù)據(jù)”，還加入綜合考慮其他影響因素，在對(duì)比分析所有可能方案的基礎(chǔ)上，提出“可以直接用于決策的建議或方案”。規(guī)范性分析實(shí)現(xiàn)了從“知識(shí)”到“智慧(決定)”的轉(zhuǎn)變。云計(jì)算與數(shù)據(jù)

云計(jì)算(Cloud computing)– 云計(jì)算可用于任何時(shí)間與地點(diǎn)。它是構(gòu)建在網(wǎng)絡(luò)上的分布式計(jì)算系統(tǒng)，數(shù)據(jù)文件是存儲(chǔ)于網(wǎng)絡(luò)（即云端）而非硬盤(pán)。

數(shù)據(jù)庫(kù)即服務(wù)(Database-as-a-Service)–部署在云端的數(shù)據(jù)庫(kù)，即用即付，例如亞馬遜云服務(wù)(AWS: Amazon Web Services)。DaaS為公司們提供了高效快捷的獲取數(shù)據(jù)的方法，也自2015年來(lái)在市場(chǎng)中占有著舉足輕重的作用。

數(shù)據(jù)挖掘(Data mining)–從數(shù)據(jù)集中發(fā)掘特定模式或信息的過(guò)程。數(shù)據(jù)挖掘著重利用大數(shù)據(jù)作分析，過(guò)程也利用了人工智能，機(jī)器學(xué)習(xí)或統(tǒng)計(jì)學(xué)等知識(shí)。

黑暗數(shù)據(jù)(Dark Data)-黑暗數(shù)據(jù)是被收集以及處理的商業(yè)信息，但從未被投入真正的用處。黑暗數(shù)據(jù)可以被理解為在黑暗中等待被分析的信息。很多公司甚至沒(méi)有意識(shí)到他們所有的潛在數(shù)據(jù)。

數(shù)據(jù)庫(kù)(Database)–一個(gè)以某種特定的技術(shù)來(lái)存儲(chǔ)數(shù)據(jù)集合的倉(cāng)庫(kù)，它包含了表格，圖等。數(shù)據(jù)庫(kù)也可被并入數(shù)據(jù)庫(kù)管理系統(tǒng)[Database Management System]，軟件用于數(shù)據(jù)分析。

物聯(lián)網(wǎng)的世界

Hadoop (Apache Hadoop)–一個(gè)開(kāi)源的分布式系統(tǒng)基礎(chǔ)框架，可用于開(kāi)發(fā)分布式程序，進(jìn)行大數(shù)據(jù)的運(yùn)算與存儲(chǔ)。Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。

物聯(lián)網(wǎng)(Internet of Things)–在普通的設(shè)備中裝上傳感器，使這些設(shè)備能夠在任何時(shí)間任何地點(diǎn)與網(wǎng)絡(luò)相連，例如你的手機(jī)，可穿戴設(shè)備或車等。物聯(lián)網(wǎng)包含了大量數(shù)據(jù)，使它在數(shù)據(jù)科學(xué)中有著重要的地位。除了物聯(lián)網(wǎng)以外，我們還有：

萬(wàn)物網(wǎng)(Internet of Everything):將人，程序，數(shù)據(jù)和事物結(jié)合一起使得網(wǎng)絡(luò)連接變得更加相關(guān)，更有價(jià)值。萬(wàn)物網(wǎng)將信息轉(zhuǎn)化為行動(dòng)，給企業(yè)，個(gè)人和國(guó)家創(chuàng)造新的功能，并帶來(lái)更加豐富的體驗(yàn)和前所未有的經(jīng)濟(jì)發(fā)展機(jī)遇。

機(jī)器學(xué)習(xí)以及神經(jīng)網(wǎng)絡(luò)

機(jī)器學(xué)習(xí)(Machine learning)–人工智能的一部分，指的是機(jī)器能夠從它們所完成的任務(wù)中進(jìn)行自我學(xué)習(xí)，通過(guò)長(zhǎng)期的累積實(shí)現(xiàn)自我改進(jìn)。機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律并對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。它使計(jì)算機(jī)具有智慧，不需要科學(xué)家的額外時(shí)間去優(yōu)化性能而發(fā)展。

MapReduce– MapReduce是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)。這個(gè)模型可被分為兩個(gè)不同的概念，Map（映射）函數(shù)用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（歸約）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

神經(jīng)網(wǎng)絡(luò)(Neural Network)-人工神經(jīng)網(wǎng)絡(luò)模型是模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。它預(yù)測(cè)了不同的數(shù)學(xué)函數(shù)，依靠系統(tǒng)的復(fù)雜程度處理復(fù)雜信息。深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。

NoSQL– NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，是一項(xiàng)全新的數(shù)據(jù)庫(kù)革命性運(yùn)動(dòng)，提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲(chǔ)。這類數(shù)據(jù)庫(kù)泛指?jìng)鹘y(tǒng)關(guān)系型數(shù)據(jù)庫(kù)以外的其他類型的數(shù)據(jù)庫(kù)。這類數(shù)據(jù)庫(kù)有更強(qiáng)的一致性，能處理超大規(guī)模和高并發(fā)的數(shù)據(jù)。

總的來(lái)說(shuō)，大數(shù)據(jù)是對(duì)大量、動(dòng)態(tài)、能持續(xù)的數(shù)據(jù)，通過(guò)運(yùn)用新系統(tǒng)、新工具、新模型進(jìn)行挖掘，從而獲得具有洞察力和新價(jià)值的東西。以前，面對(duì)龐大的數(shù)據(jù)，我們可能會(huì)一葉障目，因此不能了解到事物的真正本質(zhì)，而大數(shù)據(jù)時(shí)代的來(lái)臨，一切真相將會(huì)展現(xiàn)在人們面前。