想玩大數(shù)據(jù)？這些專業(yè)術(shù)語(yǔ)你知道嗎_數(shù)據(jù)分析師

大數(shù)據(jù)的出現(xiàn)帶來了許多新的術(shù)語(yǔ)，但這些術(shù)語(yǔ)往往比較難以理解。因此，我們通過本文給出一個(gè)常用的大數(shù)據(jù)術(shù)語(yǔ)表，拋磚引玉，供大家深入了解。其中部分定義參考了相應(yīng)的博客文章。當(dāng)然，這份術(shù)語(yǔ)表并沒有100%包含所有的術(shù)語(yǔ)。
　　A
　　聚合(Aggregation)——搜索、合并、顯示數(shù)據(jù)的過程
　　算法(Algorithms)——可以完成某種數(shù)據(jù)分析的數(shù)學(xué)公式
　　分析法(Analytics)——用于發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在涵義
　　異常檢測(cè)(Anomaly detection)——在數(shù)據(jù)集中搜索與預(yù)期模式或行為不匹配的數(shù)據(jù)項(xiàng)。除了“Anomalies”,用來表示異常的詞有以下幾種：outliers, exceptions, surprises, contaminants.他們通?？商峁╆P(guān)鍵的可執(zhí)行信息
　　匿名化(Anonymization)——使數(shù)據(jù)匿名，即移除所有與個(gè)人隱私相關(guān)的數(shù)據(jù)
　　應(yīng)用(Application)——實(shí)現(xiàn)某種特定功能的計(jì)算機(jī)軟件
　　人工智能(Artificial Intelligence)——研發(fā)智能機(jī)器和智能軟件，這些智能設(shè)備能夠感知周遭的環(huán)境，并根據(jù)要求作出相應(yīng)的反應(yīng)，甚至能自我學(xué)習(xí).
　　B
　　行為分析法(Behavioural Analytics)——這種分析法是根據(jù)用戶的行為如“怎么做”，“為什么這么做”，以及“做了什么”來得出結(jié)論，而不是僅僅針對(duì)人物和時(shí)間的一門分析學(xué)科，它著眼于數(shù)據(jù)中的人性化模式
　　大數(shù)據(jù)科學(xué)家(Big Data Scientist)——能夠設(shè)計(jì)大數(shù)據(jù)算法使得大數(shù)據(jù)變得有用的人
　　大數(shù)據(jù)創(chuàng)業(yè)公司(Big data startup)——指研發(fā)最新大數(shù)據(jù)技術(shù)的新興公司
　　生物測(cè)定術(shù)(Biometrics)——根據(jù)個(gè)人的特征進(jìn)行身份識(shí)別
　　B字節(jié) (BB: Brontobytes)——約等于1000 YB(Yottabytes)，相當(dāng)于未來數(shù)字化宇宙的大小。1 B字節(jié)包含了27個(gè)0！
　　商業(yè)智能(Business Intelligence)——是一系列理論、方法學(xué)和過程，使得數(shù)據(jù)更容易被理解
　　C
　　分類分析(Classification analysis)——從數(shù)據(jù)中獲得重要的相關(guān)性信息的系統(tǒng)化過程; 這類數(shù)據(jù)也被稱為元數(shù)據(jù)(meta data),是描述數(shù)據(jù)的數(shù)據(jù)
　　云計(jì)算(Cloud computing)——構(gòu)建在網(wǎng)絡(luò)上的分布式計(jì)算系統(tǒng)，數(shù)據(jù)是存儲(chǔ)于機(jī)房外的（即云端）
　　聚類分析(Clustering analysis)——它是將相似的對(duì)象聚合在一起，每類相似的對(duì)象組合成一個(gè)聚類(也叫作簇)的過程。這種分析方法的目的在于分析數(shù)據(jù)間的差異和相似性
　　冷數(shù)據(jù)存儲(chǔ)(Cold data storage)——在低功耗服務(wù)器上存儲(chǔ)那些幾乎不被使用的舊數(shù)據(jù)。但這些數(shù)據(jù)檢索起來將會(huì)很耗時(shí)
　　對(duì)比分析(Comparative analysis)——在非常大的數(shù)據(jù)集中進(jìn)行模式匹配時(shí)，進(jìn)行一步步的對(duì)比和計(jì)算過程得到分析結(jié)果
　　復(fù)雜結(jié)構(gòu)的數(shù)據(jù)(Complex structured data)——由兩個(gè)或多個(gè)復(fù)雜而相互關(guān)聯(lián)部分組成的數(shù)據(jù)，這類數(shù)據(jù)不能簡(jiǎn)單地由結(jié)構(gòu)化查詢語(yǔ)言或工具(SQL)解析
　　計(jì)算機(jī)產(chǎn)生的數(shù)據(jù)(Computer generated data)——如日志文件這類由計(jì)算機(jī)生成的數(shù)據(jù)
　　并發(fā)(Concurrency)——同時(shí)執(zhí)行多個(gè)任務(wù)或運(yùn)行多個(gè)進(jìn)程
　　相關(guān)性分析(Correlation analysis)——是一種數(shù)據(jù)分析方法，用于分析變量之間是否存在正相關(guān)，或者負(fù)相關(guān)
　　客戶關(guān)系管理(CRM: Customer Relationship Management)——用于管理銷售、業(yè)務(wù)過程的一種技術(shù)，大數(shù)據(jù)將影響公司的客戶關(guān)系管理的策略
　　D
　　儀表板(Dashboard)——使用算法分析數(shù)據(jù)，并將結(jié)果用圖表方式顯示于儀表板中
　　數(shù)據(jù)聚合工具(Data aggregation tools)——將分散于眾多數(shù)據(jù)源的數(shù)據(jù)轉(zhuǎn)化成一個(gè)全新數(shù)據(jù)源的過程
　　數(shù)據(jù)分析師(Data analyst)——從事數(shù)據(jù)分析、建模、清理、處理的專業(yè)人員
　　數(shù)據(jù)庫(kù)(Database)——一個(gè)以某種特定的技術(shù)來存儲(chǔ)數(shù)據(jù)集合的倉(cāng)庫(kù)
　　數(shù)據(jù)庫(kù)即服務(wù)(Database-as-a-Service)——部署在云端的數(shù)據(jù)庫(kù)，即用即付，例如亞馬遜云服務(wù)(AWS: Amazon Web Services)
　　數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS: Database Management System)——收集、存儲(chǔ)數(shù)據(jù)，并提供數(shù)據(jù)的訪問
　　數(shù)據(jù)中心(Data centre)——一個(gè)實(shí)體地點(diǎn)，放置了用來存儲(chǔ)數(shù)據(jù)的服務(wù)
　　器數(shù)據(jù)清洗(Data cleansing)——對(duì)數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過程，目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，并提供數(shù)據(jù)一致性
　　數(shù)據(jù)管理員(Data custodian)——負(fù)責(zé)維護(hù)數(shù)據(jù)存儲(chǔ)所需技術(shù)環(huán)境的專業(yè)技術(shù)人員
　　數(shù)據(jù)道德準(zhǔn)則(Data ethical guidelines)——這些準(zhǔn)則有助于組織機(jī)構(gòu)使其數(shù)據(jù)透明化，保證數(shù)據(jù)的簡(jiǎn)潔、安全及隱私
　　數(shù)據(jù)訂閱(Data feed)——一種數(shù)據(jù)流，例如Twitter訂閱和RSS
　　數(shù)據(jù)集市(Data marketplace)——進(jìn)行數(shù)據(jù)集買賣的在線交易場(chǎng)所
　　數(shù)據(jù)挖掘(Data mining)——從數(shù)據(jù)集中發(fā)掘特定模式或信息的過程
　　數(shù)據(jù)建模(Data modelling)——使用數(shù)據(jù)建模技術(shù)來分析數(shù)據(jù)對(duì)象，以此洞悉數(shù)據(jù)的內(nèi)在涵義
　　數(shù)據(jù)集(Data set)——大量數(shù)據(jù)的集合
　　數(shù)據(jù)虛擬化(Data virtualization)——數(shù)據(jù)整合的過程，以此獲得更多的數(shù)據(jù)信息，這個(gè)過程通常會(huì)引入其他技術(shù)，例如數(shù)據(jù)庫(kù)，應(yīng)用程序，文件系統(tǒng)，網(wǎng)頁(yè)技術(shù)，大數(shù)據(jù)技術(shù)等等
　　去身份識(shí)別(De-identification)——也稱為匿名化(anonymization)，確保個(gè)人不會(huì)通過數(shù)據(jù)被識(shí)別
　　判別分析(Discriminant analysis)——將數(shù)據(jù)分類；按不同的分類方式，可將數(shù)據(jù)分配到不同的群組，類別或者目錄。是一種統(tǒng)計(jì)分析法，可以對(duì)數(shù)據(jù)中某些群組或集群的已知信息進(jìn)行分析，并從中獲取分類規(guī)則。
　　分布式文件系統(tǒng)(Distributed File System)——提供簡(jiǎn)化的，高可用的方式來存儲(chǔ)、分析、處理數(shù)據(jù)的系統(tǒng)
　　文件存貯數(shù)據(jù)庫(kù)(Document Store Databases)——又稱為文檔數(shù)據(jù)庫(kù)(document-oriented database), 為存儲(chǔ)、管理、恢復(fù)文檔數(shù)據(jù)而專門設(shè)計(jì)的數(shù)據(jù)庫(kù)，這類文檔數(shù)據(jù)也稱為半結(jié)構(gòu)化數(shù)據(jù)
　　E
　　探索性分析(Exploratory analysis)——在沒有標(biāo)準(zhǔn)的流程或方法的情況下從數(shù)據(jù)中發(fā)掘模式。是一種發(fā)掘數(shù)據(jù)和數(shù)據(jù)集主要特性的一種方法
　　E字節(jié)(EB: Exabytes)——約等于1000 PB(petabytes), 約等于1百萬(wàn) GB。如今全球每天所制造的新信息量大約為1 EB
　　提取-轉(zhuǎn)換-加載(ETL: Extract, Transform and Load)——是一種用于數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)的處理過程。即從各種不同的數(shù)據(jù)源提取(E)數(shù)據(jù)，并轉(zhuǎn)換(T)成能滿足業(yè)務(wù)需要的數(shù)據(jù)，最后將其加載(L)到數(shù)據(jù)庫(kù)
　　F
　　故障切換(Failover)——當(dāng)系統(tǒng)中某個(gè)服務(wù)器發(fā)生故障時(shí)，能自動(dòng)地將運(yùn)行任務(wù)切換到另一個(gè)可用服務(wù)器或節(jié)點(diǎn)上容錯(cuò)設(shè)計(jì)(Fault-tolerant design)——一個(gè)支持容錯(cuò)設(shè)計(jì)的系統(tǒng)應(yīng)該能夠做到當(dāng)某一部分出現(xiàn)故障也能繼續(xù)運(yùn)行
　　G
　　游戲化(Gamification)——在其他非游戲領(lǐng)域中運(yùn)用游戲的思維和機(jī)制，這種方法可以以一種十分友好的方式進(jìn)行數(shù)據(jù)的創(chuàng)建和偵測(cè)，非常有效。
　　圖形數(shù)據(jù)庫(kù)(Graph Databases)——運(yùn)用圖形結(jié)構(gòu)(例如，一組有限的有序?qū)?，或者某種實(shí)體)來存儲(chǔ)數(shù)據(jù)，這種圖形存儲(chǔ)結(jié)構(gòu)包括邊緣、屬性和節(jié)點(diǎn)。它提供了相鄰節(jié)點(diǎn)間的自由索引功能，也就是說，數(shù)據(jù)庫(kù)中每個(gè)元素間都與其他相鄰元素直接關(guān)聯(lián)。
　　網(wǎng)格計(jì)算(Grid computing)——將許多分布在不同地點(diǎn)的計(jì)算機(jī)連接在一起，用以處理某個(gè)特定問題，通常是通過云將計(jì)算機(jī)相連在一起。
　　H
　　Hadoop——一個(gè)開源的分布式系統(tǒng)基礎(chǔ)框架，可用于開發(fā)分布式程序，進(jìn)行大數(shù)據(jù)的運(yùn)算與存儲(chǔ)。
　　Hadoop數(shù)據(jù)庫(kù)(HBase)——一個(gè)開源的、非關(guān)系型、分布式數(shù)據(jù)庫(kù)，與Hadoop框架共同使用HDFS——Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System)；是一個(gè)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)高性能計(jì)算(HPC: High-Performance-Computing)——使用超級(jí)計(jì)算機(jī)來解決極其復(fù)雜的計(jì)算問題I
　　內(nèi)存數(shù)據(jù)庫(kù)(IMDB: In-memory)——一種數(shù)據(jù)庫(kù)管理系統(tǒng)，與普通數(shù)據(jù)庫(kù)管理系統(tǒng)不同之處在于，它用主存來存儲(chǔ)數(shù)據(jù)，而非硬盤。其特點(diǎn)在于能高速地進(jìn)行數(shù)據(jù)的處理和存取。
　　物聯(lián)網(wǎng)(Internet of Things)——在普通的設(shè)備中裝上傳感器，使這些設(shè)備能夠在任何時(shí)間任何地點(diǎn)與網(wǎng)絡(luò)相連。
　　J
　　法律上的數(shù)據(jù)一致性(Juridical data compliance)——當(dāng)你使用的云計(jì)算解決方案，將你的數(shù)據(jù)存儲(chǔ)于不同的國(guó)家或不同的大陸時(shí)，就會(huì)與這個(gè)概念扯上關(guān)系了。你需要留意這些存儲(chǔ)在不同國(guó)家的數(shù)據(jù)是否符合當(dāng)?shù)氐姆伞?/span>
　　K
　　鍵值數(shù)據(jù)庫(kù)(KeyValue Databases)——數(shù)據(jù)的存儲(chǔ)方式是使用一個(gè)特定的鍵，指向一個(gè)特定的數(shù)據(jù)記錄，這種方式使得數(shù)據(jù)的查找更加方便快捷。鍵值數(shù)據(jù)庫(kù)中所存的數(shù)據(jù)通常為編程語(yǔ)言中基本數(shù)據(jù)類型的數(shù)據(jù)。
　　L
　　延遲(Latency)——表示系統(tǒng)時(shí)間的延遲
　　遺留系統(tǒng)(Legacy system)——是一種舊的應(yīng)用程序，或是舊的技術(shù)，或是舊的計(jì)算系統(tǒng)，現(xiàn)在已經(jīng)不再支持了。
　　負(fù)載均衡(Load balancing)——將工作量分配到多臺(tái)電腦或服務(wù)器上，以獲得最優(yōu)結(jié)果和最大的系統(tǒng)利用率。
　　位置信息(Location data)——GPS信息，即地理位置信息。
　　日志文件(Log file)——由計(jì)算機(jī)系統(tǒng)自動(dòng)生成的文件，記錄系統(tǒng)的運(yùn)行過程。
　　M
　　M2M數(shù)據(jù)(Machine2Machine data)——兩臺(tái)或多臺(tái)機(jī)器間交流與傳輸?shù)膬?nèi)容機(jī)器數(shù)據(jù)(Machine data)——由傳感器或算法在機(jī)器上產(chǎn)生的數(shù)據(jù)機(jī)器學(xué)習(xí)(Machine learning)——人工智能的一部分，指的是機(jī)器能夠從它們所完成的任務(wù)中進(jìn)行自我學(xué)習(xí)，通過長(zhǎng)期的累積實(shí)現(xiàn)自我改進(jìn)。
　　MapReduce——是處理大規(guī)模數(shù)據(jù)的一種軟件框架(Map: 映射，Reduce: 歸納)。
　　大規(guī)模并行處理(MPP: Massively Parallel Processing)——同時(shí)使用多個(gè)處理器(或多臺(tái)計(jì)算機(jī))處理同一個(gè)計(jì)算任務(wù)。
　　元數(shù)據(jù)(Metadata)——被稱為描述數(shù)據(jù)的數(shù)據(jù)，即描述數(shù)據(jù)數(shù)據(jù)屬性(數(shù)據(jù)是什么)的信息。
　　MongoDB——一種開源的非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL database)多維數(shù)據(jù)庫(kù)(Multi-Dimensional Databases)——用于優(yōu)化數(shù)據(jù)聯(lián)機(jī)分析處理(OLAP)程序，優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)的一種數(shù)據(jù)庫(kù)。
　　多值數(shù)據(jù)庫(kù)(MultiValue Databases)——是一種非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL), 一種特殊的多維數(shù)據(jù)庫(kù)：能處理3個(gè)維度的數(shù)據(jù)。主要針對(duì)非常長(zhǎng)的字符串，能夠完美地處理HTML和XML中的字串。
　　N
　　自然語(yǔ)言處理(Natural Language Processing)——是計(jì)算機(jī)科學(xué)的一個(gè)分支領(lǐng)域，它研究如何實(shí)現(xiàn)計(jì)算機(jī)與人類語(yǔ)言之間的交互。
　　網(wǎng)絡(luò)分析(Network analysis)——分析網(wǎng)絡(luò)或圖論中節(jié)點(diǎn)間的關(guān)系，即分析網(wǎng)絡(luò)中節(jié)點(diǎn)間的連接和強(qiáng)度關(guān)系。
　　NewSQL——一個(gè)優(yōu)雅的、定義良好的數(shù)據(jù)庫(kù)系統(tǒng)，比SQL更易學(xué)習(xí)和使用，比NoSQL更晚提出的新型數(shù)據(jù)庫(kù)NoSQL——顧名思義，就是“不使用SQL”的數(shù)據(jù)庫(kù)。這類數(shù)據(jù)庫(kù)泛指?jìng)鹘y(tǒng)關(guān)系型數(shù)據(jù)庫(kù)以外的其他類型的數(shù)據(jù)庫(kù)。這類數(shù)據(jù)庫(kù)有更強(qiáng)的一致性，能處理超大規(guī)模和高并發(fā)的數(shù)據(jù)。
　　O
　　對(duì)象數(shù)據(jù)庫(kù)(Object Databases)——(也稱為面象對(duì)象數(shù)據(jù)庫(kù))以對(duì)象的形式存儲(chǔ)數(shù)據(jù)，用于面向?qū)ο缶幊?。它不同?a href='/map/guanxixingshujuku/' style='color:#000;font-size:inherit;'>關(guān)系型數(shù)據(jù)庫(kù)和圖形數(shù)據(jù)庫(kù)，大部分對(duì)象數(shù)據(jù)庫(kù)都提供一種查詢語(yǔ)言，允許使用聲明式編程(declarative programming)訪問對(duì)象.
　　基于對(duì)象圖像分析(Object-based Image Analysis)——數(shù)字圖像分析方法是對(duì)每一個(gè)像素的數(shù)據(jù)進(jìn)行分析，而基于對(duì)象的圖像分析方法則只分析相關(guān)像素的數(shù)據(jù)，這些相關(guān)像素被稱為對(duì)象或圖像對(duì)象。
　　操作型數(shù)據(jù)庫(kù)(Operational Databases)——這類數(shù)據(jù)庫(kù)可以完成一個(gè)組織機(jī)構(gòu)的常規(guī)操作，對(duì)商業(yè)運(yùn)營(yíng)非常重要，一般使用在線事務(wù)處理，允許用戶訪問 、收集、檢索公司內(nèi)部的具體信息。
　　優(yōu)化分析(Optimization analysis)——在產(chǎn)品設(shè)計(jì)周期依靠算法來實(shí)現(xiàn)的優(yōu)化過程，在這一過程中，公司可以設(shè)計(jì)各種各樣的產(chǎn)品并測(cè)試這些產(chǎn)品是否滿足預(yù)設(shè)值。
　　本體論(Ontology)——表示知識(shí)本體，用于定義一個(gè)領(lǐng)域中的概念集及概念之間的關(guān)系的一種哲學(xué)思想。(譯者注: 數(shù)據(jù)被提高到哲學(xué)的高度，被賦予了世界本體的意義，成為一個(gè)獨(dú)立的客觀數(shù)據(jù)世界)異常值檢測(cè)(Outlier detection)——異常值是指嚴(yán)重偏離一個(gè)數(shù)據(jù)集或一個(gè)數(shù)據(jù)組合總平均值的對(duì)象，該對(duì)象與數(shù)據(jù)集中的其他它相去甚遠(yuǎn)，因此，異常值的出現(xiàn)意味著系統(tǒng)發(fā)生問題，需要對(duì)此另加分析。
　　P
　　模式識(shí)別(Pattern Recognition)——通過算法來識(shí)別數(shù)據(jù)中的模式，并對(duì)同一數(shù)據(jù)源中的新數(shù)據(jù)作出預(yù)測(cè)
　　P字節(jié)(PB: Petabytes)——約等于1000 TB(terabytes), 約等于1百萬(wàn) GB (gigabytes)。歐洲核子研究中心(CERN)大型強(qiáng)子對(duì)撞機(jī)每秒產(chǎn)生的粒子個(gè)數(shù)就約為1 PB