大數(shù)據(jù)分析之?dāng)?shù)據(jù)孤島：你能看到它們嗎

從企業(yè)和CIO們開始嘗試數(shù)據(jù)挖掘以來，數(shù)據(jù)孤島就一直阻礙著商業(yè)智能效能的提高。數(shù)據(jù)孤島，換句話說昂貴的、需要費(fèi)盡心血維護(hù)卻彼此無法兼容的數(shù) 據(jù)庫，指望從它們那兒發(fā)掘到偉大的知識(shí)，無疑于緣木求魚。也就是說，數(shù)據(jù)庫的數(shù)量和挖掘到的知識(shí)產(chǎn)量沒有任何關(guān)系。正如一位商業(yè)智能專家所說的，進(jìn)進(jìn)出出 的都是垃圾。
　　談到大數(shù)據(jù)分析-或者叫數(shù)據(jù)3V（類別、數(shù)量和增長(zhǎng)率），則是個(gè)令大多數(shù)公司窒息的流行語。因?yàn)椋瑩?jù)分析師Ted Friedman說，數(shù)據(jù)孤島整指數(shù)般的蔓延-就像瘟疫一樣。
　 　 “在你的公司，任何時(shí)間任何地方，都有數(shù)據(jù)孤島的存在。從大數(shù)據(jù)的角度看，簡(jiǎn)直整個(gè)宇宙都充斥著數(shù)據(jù)孤島-在防火墻里，在web上，在‘云’端，還有那些 屬于其他企業(yè)、客戶和供應(yīng)商的卻在你這兒出現(xiàn)的數(shù)據(jù)，”Gartner主持信息管理咨詢的Friedman說道，“所有這些使得你更難打破數(shù)據(jù)孤島來挖掘 有意義的知識(shí)信息?！?/span>
　　那么，CIO在詮釋大數(shù)據(jù)的過程中能起到什么作用呢？和企業(yè)遇到的其他IT挑戰(zhàn)一樣，這個(gè)難題及其解決之道也圍繞 著人才、流程和技術(shù)而展開。CIO不僅需要為為員工培養(yǎng)新技能（包括招募數(shù)據(jù)科學(xué)家、分析師和架構(gòu)師等），而且需要說服高層：大數(shù)據(jù)治理是需要高管甚至董 事會(huì)關(guān)注的重要命題。
　　突然變時(shí)髦的數(shù)據(jù)管理
　　對(duì)付大數(shù)據(jù)遭遇的數(shù)據(jù)孤島問題有一種 方法，就是孤立分析，重點(diǎn)突破。Gartner專門有一種信息估值過程來運(yùn)用這種方法?！霸邶嫶蟮臄?shù)據(jù)海洋中，不同數(shù)據(jù)有著不同的價(jià)值，于是數(shù)據(jù)挖掘的目 標(biāo)，就變成了定義怎樣的問題空間，然后在空間內(nèi)深入分析，”Friedman說道，“就我看來，客戶往往將分析邊界定義得太過寬泛?！?/span>
　　為了突出重點(diǎn)，企業(yè)可以首先問自己這樣一個(gè)問題：我們到底要從數(shù)據(jù)中得到什么？這些數(shù)據(jù)和我們的業(yè)務(wù)有什么聯(lián)系？我們?nèi)绾问褂眠@些數(shù)據(jù)以獲得積極的回報(bào)？
　 　隨著企業(yè)越來越關(guān)注潛伏在大數(shù)據(jù)中的價(jià)值信息，Gartner注意到越來越多的公司開始設(shè)立數(shù)據(jù)治理委員會(huì)。由業(yè)務(wù)干系人所組成，這些機(jī)構(gòu)關(guān)注一切方面 -從哪些是重要的數(shù)據(jù)源、向什么技術(shù)投資，到各種和數(shù)據(jù)有關(guān)的問題，譬如數(shù)據(jù)質(zhì)量、數(shù)據(jù)保留度、數(shù)據(jù)整合、數(shù)據(jù)安全性和信息隱私。
　　外部數(shù)據(jù)孤島的危險(xiǎn)探索
　　除了少數(shù)IT專家外，也應(yīng)該開放給其他職員大數(shù)據(jù)探索的權(quán)利，以最大程度從大數(shù)據(jù)中攫取價(jià)值。Gartner及其它專業(yè)人士擔(dān)心，很多組織急于從大數(shù)據(jù)中牟利，以至于忽視了IT治理的風(fēng)險(xiǎn)，從而付出了侵犯隱私、數(shù)據(jù)造假等問題而得到嚴(yán)懲的代價(jià)。
　　 “在企業(yè)里，徹底的數(shù)據(jù)開放不切實(shí)際，”麻省Forrester首席分析師Boris Evelson說道，“有各種各樣的監(jiān)管問題和利益沖突。舉個(gè)例子，投行的行研師和交易員之間就絕對(duì)不可互犯雷池一步?！?/span>
　 　在科羅拉多大學(xué)國(guó)家冰雪研究數(shù)據(jù)中心（NSIDC）和其數(shù)據(jù)收集伙伴美國(guó)航天局（NASA）看來，保護(hù)數(shù)據(jù)的完整是一項(xiàng)巨大的挑戰(zhàn)，NSIDC的IT服 務(wù)經(jīng)理David Gallaher如是說。David的主要任務(wù)，是收集、管理記錄著世界上所有冰凍地域的以PB級(jí)計(jì)算的科學(xué)數(shù)據(jù)，并保證以可控的方式分發(fā)給需要的研究人 員?！拔覀冃枰屓藗儽M可能方便地獲取他們需要的數(shù)據(jù)，但我們必須得保證他們不可能胡亂更改其中的任何一處，”正在接受地理學(xué)培訓(xùn)的Gallaher表 示。另一方面，NSIDC的科學(xué)家們每次訪問數(shù)據(jù)后肯定會(huì)對(duì)其進(jìn)行更新，所以數(shù)據(jù)管理的治理原則必須是“正確的人做正確的修改”，Gallaher強(qiáng)調(diào) 道。NSIDC目前正在和美國(guó)國(guó)家科學(xué)基金會(huì)合作完善其數(shù)據(jù)治理原則。
　　數(shù)據(jù)管理-只要多視圖，不要多拷貝
　　不是所有人同意大數(shù)據(jù)一定意味著更多的數(shù)據(jù)孤島這一說法。IBM大數(shù)據(jù)項(xiàng)目副總裁Anjul Bhambhri就宣稱，大數(shù)據(jù)其實(shí)能“幫助”CIO。
　 　 “現(xiàn)在，數(shù)據(jù)孤島能夠進(jìn)行自我清理，”在一次針對(duì)其一年來為200多家公司清理數(shù)據(jù)孤島的訪談中，Bhambhri如是說。一家大型企業(yè)為郵件歸檔建立了 13個(gè)數(shù)據(jù)集市（單是法務(wù)部就使用了8個(gè)），因?yàn)楫?dāng)他們要訪問歸檔郵件時(shí)，他們等不及讓IT來處理。另一家公司的兩個(gè)部門分別為自己的web緩存建立了拷 貝。“要知道他們每天就有150億條緩存要處理，”Bhambhri說道。
　　新技術(shù)-當(dāng)然，包括IBM的BI大數(shù)據(jù)產(chǎn)品-可讓企業(yè)在一個(gè)數(shù)據(jù) 倉庫中存儲(chǔ)和分析龐大的數(shù)據(jù)信息。因此，上述兩家公司只用保留一個(gè)活躍的數(shù)據(jù)歸檔，大可不必設(shè)立13個(gè)歸檔副本或150億web緩存?！澳愕臄?shù)據(jù)只用保存 于一處，來自多處的應(yīng)用即可對(duì)數(shù)據(jù)同時(shí)進(jìn)行訪問，因?yàn)閿?shù)據(jù)在存儲(chǔ)層次的形式保持不變，”Bhambhri說道。然而，即使她和像她這樣的積極倡導(dǎo)大數(shù)據(jù)分 析的IT人士，也不斷提醒企業(yè)，有效的大數(shù)據(jù)分析，需要對(duì)已有的IT系統(tǒng)框架進(jìn)行徹底地改造?！澳軌蛴行Т鎯?chǔ)數(shù)據(jù)是在正確的方向上前進(jìn)了一大步，”她說 道，“但僅能存儲(chǔ)是不夠的，有效的分析還需要大量的算法?！?/span>