大數(shù)據(jù)工具指南：從選擇到應(yīng)用_數(shù)據(jù)分析師培訓(xùn)

通過部署和使用大數(shù)據(jù)分析工具，分析流程可以幫助公司提高運營效率，產(chǎn)生新的利潤，獲得競爭優(yōu)勢。企業(yè)可選擇的數(shù)據(jù)分析應(yīng)用程序有很多。比如描述性分析善于描述已發(fā)生的事情，揭示因果關(guān)系。描述性分析主要輸出查詢、報表和歷史數(shù)據(jù)可視化。

另外，更復(fù)雜的預(yù)測模型和規(guī)范模型可以幫助企業(yè)獲得商機(jī)，做出影響市場戰(zhàn)略，提升客戶體驗，避免設(shè)備故障的決定。在預(yù)測分析中，歷史數(shù)據(jù)集

有了預(yù)測分析，歷史數(shù)據(jù)集可用于分析未來的狀況和行為，規(guī)范分析承接預(yù)測分析，建議決策者采取某種行為。在很多情況下，先進(jìn)的分析程序由于處理和數(shù)據(jù)存儲的需求過高，限制了它的發(fā)展，但這些缺點也不是不可克服的。大數(shù)據(jù)平臺和大數(shù)據(jù)分析工具的流行，讓預(yù)測分析和規(guī)范分析也能通過擴(kuò)展，處理來自廣泛數(shù)據(jù)源的大量數(shù)據(jù)集。

大數(shù)據(jù)分析意味著什么?

本質(zhì)上，大數(shù)據(jù)分析工具是能夠支持運行在大數(shù)據(jù)計算平臺上的預(yù)測分析應(yīng)用程序和規(guī)范分析應(yīng)用程序的軟件產(chǎn)品。一般我們所說的都是基于商業(yè)服務(wù)器集群，可擴(kuò)展的分布式存儲和技術(shù)的并行處理系統(tǒng)，比如Hadoop和NoSQL數(shù)據(jù)庫。這些工具可以幫助用戶快速分析大規(guī)模數(shù)據(jù)，有時能做到實時分析。

另外，大數(shù)據(jù)分析工具提供了使用數(shù)據(jù)挖掘技術(shù)分析數(shù)據(jù)、發(fā)現(xiàn)類型、使用分析模型的框架，來認(rèn)識和應(yīng)對特定的數(shù)據(jù)類型，提高業(yè)務(wù)流程。例如，大量的運輸數(shù)據(jù)，交通數(shù)據(jù)流，天氣數(shù)據(jù)和供應(yīng)商歷史數(shù)據(jù)都可以用不同的數(shù)據(jù)模型來進(jìn)行分析，用于優(yōu)化特定地域內(nèi)的運輸線路，降低送貨延誤或損壞貨物的風(fēng)險。

大數(shù)據(jù)分析工具可以消化廣泛的數(shù)據(jù)種類，包括結(jié)構(gòu)化數(shù)據(jù)，比如關(guān)系型數(shù)據(jù)庫中存儲的交易數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)，比如Web服務(wù)器或移動應(yīng)用程序文件，和非結(jié)構(gòu)化數(shù)據(jù)，比如文本文件、文檔、電子郵件、文本信息和社交媒體信息等。

大數(shù)據(jù)和高級分析工具

下面來介紹一下大數(shù)據(jù)分析的廠商，很多廠商提供支持分析流程的大數(shù)據(jù)平臺和工具，比如數(shù)據(jù)集成、數(shù)據(jù)準(zhǔn)備和其他類型的數(shù)據(jù)管理軟件。我們關(guān)注能夠滿足下列要求的工具：

能應(yīng)用高級的分析算法和模型提供分析

以大數(shù)據(jù)平臺為引擎，比如Hadoop或其他高性能分析系統(tǒng)

能夠適用于多種數(shù)據(jù)源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)

隨著用于分析模型的數(shù)據(jù)的增加，能夠?qū)崿F(xiàn)擴(kuò)展

分析模型可以，或者已經(jīng)集成到數(shù)據(jù)可視化工具

能夠和其他技術(shù)集成

另外，工具必須包含必備的一些功能，包括集成算法和支持數(shù)據(jù)挖掘技術(shù)，包括(但不限于)：

集群和細(xì)分：把一個大的實體分割擁有共同特征的小團(tuán)體。比如分析收集來的客戶，確定更細(xì)分的目標(biāo)市場。

分類：把數(shù)據(jù)組織進(jìn)預(yù)定類別。比如根據(jù)細(xì)分模型決定客戶改如何進(jìn)行分類。

恢復(fù)：用于恢復(fù)從屬變量和一個及一個以上獨立變量之間的關(guān)系，幫助決定從屬變量如何根據(jù)獨立變量的變化而變化。比如使用地理數(shù)據(jù)、凈收入、夏日平均溫度和占地面積預(yù)測財產(chǎn)的未來走向。

聯(lián)合和項目集挖掘：在大數(shù)據(jù)集中尋找變量之間的相關(guān)關(guān)系。比如它可以幫助呼叫中心代表提供基于呼叫者客戶細(xì)分、關(guān)系和投訴類型的更精準(zhǔn)的信息。

相似性和聯(lián)系：用于非直接的集群算法。相似性積分算法可用于決定備用集群中實體的相似性。

神經(jīng)網(wǎng)絡(luò)：用于機(jī)器學(xué)習(xí)的非直接分析。

這只是預(yù)測分析和規(guī)范分析的子集。另外，不同的供應(yīng)商很可能提供不同的算法支持不同的方式。

高級分析市場

高級分析工具市場隨著時間發(fā)展不斷進(jìn)步，不同成熟度的工具類型都可選擇。有些來自歷史悠久的傳統(tǒng)廠商，比如IBM、Oracle和SAS。也有廠商通過收購有一定歷史的工具，增強實力，比如微軟、戴爾、Teradata 和SAP。

一些小公司也提供大數(shù)據(jù)分析產(chǎn)品，包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner，有時公司會開發(fā)自己的算法。其他采用了開源算法R語言，提供預(yù)測模型和規(guī)范模型能力，或使用開源Weka項目軟件。

第三類產(chǎn)品就是開源技術(shù)。之前提到的R語言就是一個例子，還有Hadoop下的Mahout軟件，以及Weka。

在一些情況下，尤其是大廠商，大數(shù)據(jù)工具往往被打包到大數(shù)據(jù)套裝中。其他情況下，大數(shù)據(jù)工具會單獨出售。在后者，客戶需要自己將工具和已有的大數(shù)據(jù)平臺集成起來。大多數(shù)的工具都提供虛擬化界面指導(dǎo)分析流程，比如數(shù)據(jù)挖掘與發(fā)現(xiàn)分析，模型的判斷和積分，與運營環(huán)境集成。在大多數(shù)情況下，供應(yīng)商都提供幫助客戶搭建和運行軟件的指導(dǎo)和服務(wù)。

誰在使用大數(shù)據(jù)和高級分析工具?

企業(yè)里的一些人著眼于探索設(shè)計新型預(yù)測性模型，另一些人關(guān)注將這些模型嵌入他們的商業(yè)流程中，還有一些人想要理解這些工具會給他們的業(yè)務(wù)帶來什么整體變化。

數(shù)據(jù)科學(xué)家們，他們想使用更復(fù)雜的數(shù)據(jù)類型實現(xiàn)更復(fù)雜的分析，熟知如何設(shè)計，如何應(yīng)用基礎(chǔ)模型來評估內(nèi)在傾向性或偏差。

業(yè)務(wù)分析師，他們更像是隨性的用戶，想要用數(shù)據(jù)來實現(xiàn)主動數(shù)據(jù)發(fā)現(xiàn)，或者實現(xiàn)現(xiàn)有信息和部分預(yù)測分析的可視化。

企業(yè)經(jīng)理，他們想要了解模型和結(jié)論。

IT開發(fā)人員，他們?yōu)橐陨纤蓄愑脩籼峁┲С帧?/span>

所有這些角色通常都會在模型發(fā)展生命周期中共同合作。數(shù)據(jù)科學(xué)家將一套大數(shù)據(jù)集置于無目標(biāo)分析的條件下，然后觀察那種模式符合商業(yè)利益。在與業(yè)務(wù)分析師一起檢查模型工作方式，并評估出發(fā)現(xiàn)的每個模型或模式對于企業(yè)存在何種潛在積極效應(yīng)，企業(yè)經(jīng)理和IT小組這個時候就需要介入，來將模型嵌入或?qū)⒛Ｐ驼线M(jìn)商業(yè)流程，或者圍繞該模型設(shè)計新流程。

但是從市場角度來說，考慮環(huán)繞大數(shù)據(jù)分析的業(yè)務(wù)種類是很有趣的。。許多大數(shù)據(jù)技術(shù)的早期用戶都是網(wǎng)絡(luò)公司(例如，Google，Yahoo，F(xiàn)acebook，LinkedIn和Netflix)或者分析服務(wù)提供商。這些公司都依賴運行性和分析型應(yīng)用，這些應(yīng)用需要引入高速數(shù)據(jù)流來進(jìn)行處理、分析然后將結(jié)果反饋以持續(xù)改善表現(xiàn)。

在更為主流的產(chǎn)業(yè)中，對于數(shù)據(jù)擴(kuò)展的胃口也越來越大，大數(shù)據(jù)分析也在這些更為普遍的企業(yè)人口中找到了位置。在過去，大規(guī)模分析平臺的成本因素使得只有超大型公司才能實現(xiàn)。但是，通用型主導(dǎo)的大數(shù)據(jù)平臺越來越平易近人(如那些通過亞馬遜網(wǎng)頁服務(wù)實現(xiàn)的)，而能實現(xiàn)大數(shù)據(jù)具象呈現(xiàn)的平臺也越來越多，像Hadoop本地一樣不需要大量投資，降低的準(zhǔn)入門檻。此外，開放數(shù)據(jù)集和社交媒體渠道提供的救火管數(shù)據(jù)供給的可獲取程度為與內(nèi)部數(shù)據(jù)集相混合的大規(guī)模數(shù)據(jù)分析準(zhǔn)備了原材料。

大型企業(yè)可能還是會選擇高端大數(shù)據(jù)分析工具，但是低成本替代品在更加符合成本效益的平臺上運作，使得中小企業(yè)得以評估和啟動大數(shù)據(jù)分析恒旭，并取得預(yù)期的商業(yè)發(fā)展成果。

現(xiàn)在我們已經(jīng)分析過了不同類型的工具和他們的用戶，下一步就是要確定怎樣用這些工具為公司謀利。看一看對于大數(shù)據(jù)分析不同案例下的使用，你就能開始理解如何權(quán)衡一般大數(shù)據(jù)分析能力來創(chuàng)造和增加價值。