企業(yè)工具挖掘大數(shù)據(jù)潛能

公有云不只是改變了計(jì)算和存儲(chǔ)的價(jià)格結(jié)構(gòu)，而且還擴(kuò)展了分析企業(yè)IT可以執(zhí)行的范圍。在同大數(shù)據(jù)集工作時(shí)尤為明顯，沒有彈性計(jì)算和存儲(chǔ)的訪問就不會(huì)有實(shí)踐。
    “大數(shù)據(jù)”的寬松定義是過大而不能用傳統(tǒng)數(shù)據(jù)管理技術(shù)和基礎(chǔ)架構(gòu)處理的數(shù)據(jù)集。詳細(xì)的服務(wù)器日志、點(diǎn)擊流數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)和移動(dòng)設(shè)備數(shù)據(jù)都是數(shù)據(jù)倉庫中和商業(yè)智能系統(tǒng)中交易型數(shù)據(jù)類型的補(bǔ)充。此外，公有云數(shù)據(jù)存儲(chǔ)庫和第三方加速器也提供了大數(shù)據(jù)集話題，從Twitter流和Meetup博文到經(jīng)濟(jì)和人口普查數(shù)據(jù)。
    合并這些數(shù)據(jù)源可以進(jìn)行更加詳細(xì)和精密的分析。獲得客戶如何在在你的網(wǎng)站上瀏覽以及他們就不同產(chǎn)品瀏覽多長時(shí)間的細(xì)節(jié)信息，獲取更多關(guān)于客戶偏好的洞察力，而不僅僅是追蹤產(chǎn)品購買。
   大數(shù)據(jù)檢索：三源頭
    在你能夠處理大數(shù)據(jù)之前，確定你要處理哪種類型的數(shù)據(jù)至關(guān)重要。大數(shù)據(jù)源分成三個(gè)廣泛的分類：內(nèi)部生成數(shù)據(jù)、數(shù)據(jù)集市場(chǎng)和第三方數(shù)據(jù)生成器。
    內(nèi)部生成大數(shù)據(jù)通常是IT運(yùn)營的副產(chǎn)品。包括網(wǎng)絡(luò)流量、點(diǎn)擊流數(shù)據(jù)和應(yīng)用日志。在過去，企業(yè)針對(duì)重要事件捕捉有限的信息，比如購買東西的客戶?，F(xiàn)在我們可以捕捉更多更為重要的信息，用你的業(yè)務(wù)應(yīng)用就客戶的交互分析低級(jí)別的細(xì)節(jié)信息。用數(shù)據(jù)挖掘算法結(jié)合這些詳細(xì)信息，你會(huì)發(fā)現(xiàn)更多的洞察力，像界面的可用性、和低利潤交易相關(guān)的模式或者意外客戶類型群集。
    數(shù)據(jù)集市場(chǎng)，比如Infochimps、亞馬遜Web服務(wù)（AWS）的公有數(shù)據(jù)集和Windows Azure Marketplace，將提供范圍廣泛的數(shù)據(jù)集訪問補(bǔ)充你的內(nèi)部數(shù)據(jù)。如果你對(duì)于處方藥使用、零售數(shù)據(jù)、交易數(shù)據(jù)或者更廣泛的其他話題感興趣，你可以在這些數(shù)據(jù)市場(chǎng)中找到數(shù)據(jù)。很多數(shù)據(jù)市場(chǎng)提供云數(shù)據(jù)分析，因此你可以直接用虛擬機(jī)在云端進(jìn)行工作。
    第三方生成器是關(guān)注收集和為客戶提供數(shù)據(jù)或者供公共使用的組織。美國聯(lián)邦政府和歐盟都是這樣，生成大量的人口統(tǒng)計(jì)、經(jīng)濟(jì)和公共健康數(shù)據(jù)。私有公司，比如Hoover也提供增值服務(wù)，比如為客戶提供市場(chǎng)和風(fēng)險(xiǎn)管理數(shù)據(jù)。
   企業(yè)工具挖掘大數(shù)據(jù)潛能
    很難結(jié)合大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫中。云數(shù)據(jù)分析工具給企業(yè)提供所有規(guī)格能夠分析這種數(shù)據(jù)。
    如果數(shù)據(jù)結(jié)構(gòu)化很好，你可能希望繼續(xù)做關(guān)系型數(shù)據(jù)庫，比如甲骨文或者微軟SQL Server，二者對(duì)于AWS、微軟Windows Azure以及其他的云提供商都可用。
    當(dāng)你開始處理億萬行數(shù)據(jù)時(shí)，是時(shí)候考慮Hadoop或者谷歌BigQuery了。AWS有一個(gè)Hadoop服務(wù)，稱之為彈性MapReduce，節(jié)省了安裝和配置Hadoop集群的時(shí)間。Hadoop很好的符合面向包的分析，但是BigQuery更適合交互式分析。BigQuery使用類SQL查詢語言，并支持Tableau Software的可視化工具，這是對(duì)專業(yè)分析的兩個(gè)重要考慮對(duì)象。
   數(shù)據(jù)整合和管理
    在數(shù)據(jù)倉庫進(jìn)行大數(shù)據(jù)分析的很多任務(wù)中，和抽取、轉(zhuǎn)換和加載（ETL）操作相關(guān)聯(lián)?？缍鄠€(gè)數(shù)據(jù)集耦合實(shí)體是數(shù)據(jù)集使用唯一識(shí)別符時(shí)的挑戰(zhàn)；數(shù)據(jù)格式需要表轉(zhuǎn)化。
    關(guān)注聚集級(jí)別的不同之處。比如，一些數(shù)據(jù)何以在日常級(jí)別聚集，其他的數(shù)據(jù)則只能夠看作是普通的追蹤級(jí)別。
    最重要的，要知道數(shù)據(jù)傳輸成本，通常都要伴隨著大數(shù)據(jù)出現(xiàn)?？赡艿脑?，在你存儲(chǔ)數(shù)據(jù)相同的云中使用虛擬機(jī)。在處理谷歌BigQuery時(shí)，記住你要根據(jù)潮汛處理的數(shù)據(jù)量付費(fèi)，因此只查詢你需要的行和列。