大數(shù)據(jù)：一場騙局還是一次新的商業(yè)變革_數(shù)據(jù)分析師考試

大數(shù)據(jù)會是一場概念的騙局么？近期這樣的討論在網(wǎng)上隨著大數(shù)據(jù)的話題而不斷涌現(xiàn)出來。其實大數(shù)據(jù)并不是一項全新的技術，它的本質表現(xiàn)在數(shù)據(jù)的形態(tài)更為復雜，增長的速度更快和交互的頻率更高。

如何對具備這樣特征的數(shù)據(jù)集群進行管理和使用，是區(qū)別于傳統(tǒng)數(shù)據(jù)應用的主要特點。更為重要的一點是：當前的技術將大數(shù)據(jù)應用的成本降低到了中小型企業(yè)也可以使用的階段，在有關大數(shù)據(jù)的話題討論中，這一點也是備受關注和認可的。 伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應用的拓展，商業(yè)決策已經(jīng)越來越依賴于數(shù)據(jù)。然而，傳統(tǒng)的商業(yè)智能系統(tǒng)中用于分析的數(shù)據(jù)，大都是企業(yè)自身信息系統(tǒng)中產(chǎn)生的運營數(shù)據(jù)，這些數(shù)據(jù)大都是標準化、結構化的。

事實上，這些數(shù)據(jù)只占到了企業(yè)所能獲取的數(shù)據(jù)中很小的一部分，還有更加廣泛的數(shù)據(jù)是存在于Social、Mobile、電子商務等應用中的非結構化數(shù)據(jù)。 企業(yè)用以分析的數(shù)據(jù)越全面，結果就越接近于真實。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將它與已知業(yè)務的各個細節(jié)相融合。

微軟亞太研發(fā)集團服務器與開發(fā)工具事業(yè)部，中國云計算創(chuàng)新中心商務戰(zhàn)略總監(jiān)殷皓在接受51CTO記者專訪時特別談到了一個很有意思的案例：“某汽車銷售機構希望了解歷年油價的波動對汽車銷售帶來的影響，這時他們不需要重新采集關于油價的數(shù)據(jù)，而是通過Windows Azure上的一個數(shù)據(jù)集市服務，獲得了準確而專業(yè)的數(shù)據(jù)信息，很快的完成了這項分析，充分體現(xiàn)了數(shù)據(jù)服務帶來的價值?！币箴┱J為數(shù)據(jù)不能停留數(shù)據(jù)存儲的階段，而是要轉換成為有價值的信息服務，創(chuàng)造新的商業(yè)機會。 大數(shù)據(jù)將改變誰的命運 DBA是在傳統(tǒng)數(shù)據(jù)庫應用領域中極為重要的人群，也許大數(shù)據(jù)會帶給他們理念上的轉變。“DBA曾經(jīng)是IT行業(yè)中的金飯碗，因為核心的數(shù)據(jù)庫技術發(fā)展相對來說變化的較少，所以有些DBA會慢慢變懶”，殷皓談到：“但是，變化少不代表不變。如果DBA的工作定位偏向底層運維型的話，那么他們的職能會變得越來越小，甚至會被自動化的服務來取代，未來DBA對基礎設施的管理會越來越少，更多的向上層業(yè)務擴展。” 我們關注到發(fā)展中的DBA分工，其中的一種可能會涉及到企業(yè)核心安全保障，成為企業(yè)里數(shù)據(jù)的守門人之一。

另一種角色是研發(fā)DBA，它和業(yè)務應用結合的非常緊密。包括數(shù)據(jù)定義、數(shù)據(jù)建模，從邏輯建模到物理建模，以及后端存儲的設計等，未來更多的是成為企業(yè)數(shù)據(jù)模型的管理者?！斑@實際上也是一個職業(yè)發(fā)展的過程“，殷皓認為：“運維DBA需要確保7*24的業(yè)務連續(xù)性，研發(fā)DBA更多的負責物理建模，完成開發(fā)人員寫的存儲過程。

而我們看到的數(shù)據(jù)架構師層面，就是需要從業(yè)務需求出發(fā)來實現(xiàn)邏輯建模。因為對業(yè)務的理解是自動化工具所不能取代的，這也是在大數(shù)據(jù)的趨勢下，DBA所要面臨的轉變?！?SQL Server與大數(shù)據(jù)的對接 Hadoop是大數(shù)據(jù)的一個分布式系統(tǒng)架構。5月與微軟SQL Server 2012同時發(fā)布的還有將Hadoop和SQL Server連在一起的連通器，他們通過標準的ODBC模式，把Hadoop和PDW微軟并行數(shù)據(jù)倉庫連在一起，實現(xiàn)多核并發(fā)的并行數(shù)據(jù)倉庫。

“用戶無需對應用做出很大的改動，只是連接到SQL Server、數(shù)據(jù)倉庫，或者是一個對象。通過這個對象可以把我的連接通過連接鍵引申出去，然后把所有的數(shù)據(jù)整合在一起”，殷皓興奮的分享到：“在這種場景下，我可以把結構化數(shù)據(jù)和非結構化數(shù)據(jù)、甚至是數(shù)據(jù)倉庫在模型中的數(shù)據(jù)整合在一起，做更加深入的數(shù)據(jù)分析?！?SQL Server 2012版本中，微軟亞太研發(fā)集團服務器與開發(fā)工具事業(yè)部參與了兩個大的功能研發(fā)：數(shù)據(jù)的遷移工具SSIS，數(shù)據(jù)庫升級的服務。

微軟針對Hadoop在Windows Server Kernel上做出性能的優(yōu)化、安全認證的整合，形成企業(yè)級的AD整合，并實現(xiàn)了和BI工具的整合?！拔④浽贜oSQL上加一個SQL的索引層，比如eBay的底層用了MangoDB，但所有的交易數(shù)據(jù)都按照SQL來存儲到結點中”，殷浩認為：“NoSQL提供了一個很好的存儲機制，但要提高數(shù)據(jù)利用的效率，最好回到SQL的場景。NoSQL將會是數(shù)據(jù)庫發(fā)展過程中的一個中間階段，會逐漸體現(xiàn)為數(shù)據(jù)服務中的一部分，而非數(shù)據(jù)平臺的主流?！?nbsp;

關于大數(shù)據(jù)的話題還將繼續(xù)爭論下去，但可以看到的是，在企業(yè)商業(yè)智能的發(fā)展基礎上，數(shù)據(jù)分析將作為一種服務提供給用戶。IT技術提供商們開始實踐的大數(shù)據(jù)，不僅是把數(shù)據(jù)用于企業(yè)內(nèi)部的業(yè)務分析和決策支持，而是以提供數(shù)據(jù)分析模型的方式優(yōu)化企業(yè)決策。這不僅僅是技術的更新，而是IT消費模式的變革。