數(shù)據(jù)準(zhǔn)備是大數(shù)據(jù)分析的無名英雄 _數(shù)據(jù)分析師

隨著企業(yè)花越來越多的時(shí)間來分析數(shù)據(jù)，清理和準(zhǔn)備數(shù)據(jù)的解決方案將會(huì)變得更有價(jià)值

   現(xiàn)在大數(shù)據(jù)[注]是熱門話題，你在任何地方與任何人交談很難不提到大數(shù)據(jù)。事實(shí)上，大數(shù)據(jù)的術(shù)語有點(diǎn)被過度使用，它對不同的人意味著不同的東西，但所有這些定義都有一個(gè)共同點(diǎn)，那就是數(shù)據(jù)!

   上面我們說大數(shù)據(jù)依賴于商業(yè)智能數(shù)據(jù)，這似乎很明顯，但大數(shù)據(jù)分析的成功需要的不僅僅是原始數(shù)據(jù)，還需要好的高質(zhì)量數(shù)據(jù)。所以，更準(zhǔn)確的說法應(yīng)該是，大數(shù)據(jù)的成功需要準(zhǔn)備好的數(shù)據(jù)。對于分析，有句古老的格言，“進(jìn)來是垃圾，出去也是垃圾”，這意味著如果你把大量參差不齊的數(shù)據(jù)放到分析解決方案，你將會(huì)得到不好的結(jié)果。

   數(shù)據(jù)的清理和準(zhǔn)備歷來都是漫長的艱巨的耗時(shí)的過程。當(dāng)筆者還在Yankee Group公司時(shí)，他們遷移CRM系統(tǒng)，在遷移工作之前，該公司花了一年時(shí)間來清理現(xiàn)有系統(tǒng)中的記錄數(shù)據(jù)，以確保不會(huì)遷移不好的數(shù)據(jù)。雖然他們做了這么多工作，仍然有很多不良信息被遷移過去。

   最近，筆者看到一家被稱為Paxata的公司，該公司提供的解決方案可以進(jìn)行所謂的“自助服務(wù)自適應(yīng)數(shù)據(jù)準(zhǔn)備”。在分析或運(yùn)營報(bào)告工作之前，該技術(shù)可以整合、清理和形成數(shù)據(jù)。市面上很多現(xiàn)有的商業(yè)智能產(chǎn)品聲稱可以簡化分析過程，但事實(shí)是，大多數(shù)數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師花費(fèi)大量時(shí)間來為分析準(zhǔn)備數(shù)據(jù)。鑒于此，筆者認(rèn)為，大多數(shù)企業(yè)寧愿聘請高薪人才找出數(shù)據(jù)的含義(+微信關(guān)注網(wǎng)絡(luò)世界)，而不是清理數(shù)據(jù)。

   Paxata提供數(shù)據(jù)整個(gè)生命周期的準(zhǔn)備，包括探索、清理、更換、形成和發(fā)布數(shù)據(jù)以進(jìn)行分析。該產(chǎn)品還允許不同的數(shù)據(jù)團(tuán)隊(duì)共享相同的數(shù)據(jù)集，讓不同的團(tuán)隊(duì)可以同時(shí)編輯和訪問多個(gè)設(shè)備的信息。該產(chǎn)品還是一個(gè)管理解決方案，它會(huì)追蹤項(xiàng)目內(nèi)的每個(gè)步驟，并有完全的重放功能來審查已經(jīng)完成的更改。

   Paxata的用戶可以提高對大型數(shù)據(jù)集的分析生產(chǎn)率，同時(shí)最小化數(shù)據(jù)蔓延的危險(xiǎn)。該數(shù)據(jù)分析軟件既可作為云服務(wù)—確保數(shù)據(jù)準(zhǔn)備的靈活性，也可以作為內(nèi)部部署的解決方案，它可以整合到Hadoop以更快獲取價(jià)值。

   正如上文所述，大數(shù)據(jù)分析現(xiàn)在是一個(gè)熱門話題，但企業(yè)和IT領(lǐng)導(dǎo)者需要明白，分析糟糕的數(shù)據(jù)意味著糟糕的分析結(jié)果，可能會(huì)造成錯(cuò)誤的商業(yè)決策。正因?yàn)槿绱?，筆者希望看到數(shù)據(jù)準(zhǔn)備技術(shù)會(huì)開始像大數(shù)據(jù)一樣熱門。