大數(shù)據(jù)開放不可能一蹴而就，問題依然有待解決

大數(shù)據(jù)的普及給生活帶來了質變。隨著科技的發(fā)展和人們的需求變化，大數(shù)據(jù)開放成為如今數(shù)據(jù)開發(fā)的重心之一。不過，這個過程不可能一蹴而就，在大數(shù)據(jù)開放的進展中，還存在很多問題。

一是多源數(shù)據(jù)水平參差不齊，可用性有待提高。開放格局下的數(shù)據(jù)源要求在現(xiàn)有數(shù)據(jù)獲取途徑的基礎上，提供更多樣化的數(shù)據(jù)采集手段，并進一步提升數(shù)據(jù)采集的范圍、頻度和精度。目前各細分行業(yè)的采集手段較難統(tǒng)一，不同行業(yè)領域生成數(shù)據(jù)的過程往往依靠私有化和定制化的設備來實現(xiàn)，這也導致了各行業(yè)領域對同一數(shù)據(jù)內(nèi)容的解讀存在廣泛的不一致現(xiàn)象，影響了公共數(shù)據(jù)的梳理和聚集。例如對同一數(shù)據(jù)來源，不同的行業(yè)領域可能采用不同的編碼方式、存儲類型、索引結構等，盡管數(shù)據(jù)的天然屬性是唯一的，但表現(xiàn)在技術方式上多種多樣，人為地造成了數(shù)據(jù)的“多樣性”，致使數(shù)據(jù)整合難度加大，數(shù)據(jù)的直接可用性嚴重低下。

二是數(shù)據(jù)模型的衍生速度滯后于應用發(fā)展。開放格局下的數(shù)據(jù)分析和挖掘工作重點由傳統(tǒng)的單一領域數(shù)據(jù)分析轉為多領域數(shù)據(jù)的綜合分析，相對應的數(shù)據(jù)模型也從平面式模型結構向數(shù)據(jù)模型立方體轉變。數(shù)據(jù)模型的規(guī)范性和共識性會直接影響數(shù)據(jù)分析結果和戰(zhàn)略決策的準確性，因此，缺乏高效可用的數(shù)據(jù)模型成為開放格局下數(shù)據(jù)分析挖掘服務能力的瓶頸所在。此外，目前數(shù)據(jù)模型的生成和創(chuàng)新主要依賴人工預設、人工智能和機器學習等傳統(tǒng)方式，針對多源數(shù)據(jù)關聯(lián)的模型仍然不成熟，高質量數(shù)據(jù)模型的衍生速度尚不足以匹配應用的迭代速度和業(yè)務場景對數(shù)據(jù)分析結果的高要求。

三是混搭架構的存在要求重視頂層架構設計。一方面，數(shù)據(jù)來源的多樣化，以及數(shù)據(jù)應用兼顧在線分析（olAP）、實時交易（olTP）等多場景的現(xiàn)實訴求，決定了企業(yè)必須借助混搭技術要素來設計復雜的數(shù)據(jù)架構。另一方面，傳統(tǒng)企業(yè)礙于現(xiàn)實生產(chǎn)系統(tǒng)效率和準確性的影響，IT系統(tǒng)“去IOE”的過程較為緩慢且不徹底，基于小型機構建的Oracle數(shù)據(jù)庫較難被完全替代，基礎設施類型和數(shù)據(jù)組織方式的異構性同樣導致了混搭數(shù)據(jù)架構可能長期存在。如何面向企業(yè)數(shù)據(jù)需求構建包括傳統(tǒng)關系型數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫和分布式文件系統(tǒng)等多元素的混搭架構，成為開放格局下數(shù)據(jù)保有者進行頂層架構設計所面臨的新問題。

四是數(shù)據(jù)私有化和開放訴求的天然矛盾持續(xù)升級。數(shù)據(jù)私有化不僅體現(xiàn)在數(shù)據(jù)保有者對原始數(shù)據(jù)的不斷積累，同時也作用于ETL等數(shù)據(jù)的私有化加工過程。出于對企業(yè)信息和用戶隱私的保護，數(shù)據(jù)保有者通常將加工處理后的原始數(shù)據(jù)作為數(shù)據(jù)內(nèi)容開放給上層應用使用，但不公開相應的數(shù)據(jù)加工轉換規(guī)則。在缺乏行業(yè)標準的統(tǒng)一指導下，開放哪些數(shù)據(jù)字段、字段的編碼映射規(guī)則及數(shù)據(jù)加工的精度等都導致應用提供者在數(shù)據(jù)開放格局中處于被動地位。不過大多數(shù)數(shù)據(jù)分析工具也并不能完美融合數(shù)據(jù)隱私的保護和數(shù)據(jù)共享。大數(shù)據(jù)魔鏡則能突破性地支持團隊協(xié)作，讓企業(yè)上下共同分析數(shù)據(jù)，同時為數(shù)據(jù)加上隱私保護鎖。隨著數(shù)據(jù)范圍的不斷擴大和多領域數(shù)據(jù)關聯(lián)結果的指數(shù)級增長，數(shù)據(jù)私有化的壁壘效應會越發(fā)明顯。然而，開放式共享卻也是數(shù)據(jù)發(fā)展的必然要求。

這些問題在很大程度上限制了大數(shù)據(jù)的開放性的提升。當然，所有對大數(shù)據(jù)未來有著殷切期盼的人都在努力解決這些問題，相信未來大數(shù)據(jù)開放將會突破局限，實現(xiàn)安全高效的開放