企業(yè)大數(shù)據(jù)分析：值得期待的大趨勢(1)_數(shù)據(jù)分析培訓

據(jù)國外媒體報道,據(jù)市場研究公司idc預測,2015年大數(shù)據(jù)市場規(guī)模將從2010年的32億美元增長到170億美元,復合年增長率為40%。大數(shù)據(jù)是一個龐大的新的領域,其中的數(shù)據(jù)集可以增長的非常龐大,以至于使用傳統(tǒng)的數(shù)據(jù)庫管理工具也很難處理。處理這種問題所需要的新工具、框架、硬件、軟件和服務是一個巨大的市場機會。隨著企業(yè)用戶越來越多地需要連續(xù)不斷地訪問數(shù)據(jù),好的大數(shù)據(jù)工具集將以最低的成本和接近實時的速度提供可伸縮的、高性能的分析。通過分析這種數(shù)據(jù),企業(yè)可得到更大的智能以及競爭優(yōu)勢。下面是hadoop和大數(shù)據(jù)專業(yè)廠商mapr共同創(chuàng)始人和首席執(zhí)行官約翰·施羅德(john schroeder)對2014大數(shù)據(jù)市場的預測。
  
  1. sql擁有大數(shù)據(jù)的最大潛力
  
  用于hadoop(分布式計算)的sql的發(fā)展能夠讓商業(yè)分析師利用自己的技能和選擇的sql工具執(zhí)行大數(shù)據(jù)項目。開發(fā)人員可以選擇hive、drill和impala等apache項目,以及選擇hadapt、hawq和splice machine等公司的專有技術。
  
  2. 盡管如此 sql還面臨挑戰(zhàn)
  
  sql需要數(shù)據(jù)結構。而集中的結構化數(shù)據(jù)可引起延遲并且需要人工管理。sql還限制分析類型。過分強調sql將延遲機構全面利用其數(shù)據(jù)價值的努力和延遲反應。
  
  3. 身份識別是主要的數(shù)據(jù)安全問題
  
  隨著hadoop(分布式計算)中提供的接入控制能力的猛烈攻擊,機構迅速認識到線路級身份識別是必要的基礎。沒有充分的身份識別,任何更高級的控制都很容易被繞過,妨礙預定的安全計劃。
  
  4. 數(shù)據(jù)錯誤變成學習機會
  
  2014年機構將出現(xiàn)許多數(shù)據(jù)錯誤。數(shù)據(jù)錯誤將表明基礎的來源系統(tǒng)的問題嗎?數(shù)據(jù)錯誤是在下游分析中出現(xiàn)偏差導致的數(shù)據(jù)提取問題嗎?數(shù)據(jù)錯誤將表明定義差異或者缺少跨部門和業(yè)務部門的一致性嗎?2014年將看到解決數(shù)據(jù)異常問題。
  
  5. 出現(xiàn)可運行的hadoop
  
  2014年將看到hadoop在各個行業(yè)中的生產部署顯著增加。這將顯示出hadoop在運營中的實力。在那里,生產應用與分析結合在一起能夠提供可以衡量的商業(yè)優(yōu)勢,如在客戶化零售建議、詐騙檢測和試驗傳感器數(shù)據(jù)進行規(guī)范的維護等應用中提供這些優(yōu)勢。
  
  6. 更多的數(shù)據(jù)倉庫將部署企業(yè)數(shù)據(jù)中心
  
  數(shù)據(jù)中心把數(shù)據(jù)提取處理和數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫卸載到hadoop。作為一個核心的中心企業(yè)中心,數(shù)據(jù)中心要便宜10倍,能夠對額外的處理或者新的應用進行更多的分析。
  
  7. 新的以數(shù)據(jù)為中心的應用將成為強制性的
  
  利用大數(shù)據(jù)的能力將在2014年成為競爭的武器。更多的公司將使用大數(shù)據(jù)和hadoop準確地針對個人消費者的偏愛追逐賺錢的追加銷售和交叉銷售的機會,更好地緩解風險以及減少生產和開銷成本。
  
  8. 數(shù)據(jù)成為數(shù)據(jù)中心的核心
  
  機構將從開發(fā)者過渡到大數(shù)據(jù)計劃中。it部門將越來越多地擔負定義支持多種應用的數(shù)據(jù)基礎設施的任務,把重點集中在部署、處理和保護一個機構的核心資產所需要的基礎設施方面。
  
  9. 搜索將成為非結構化的查詢語言
  
  2013年有大量的用于hadoop的sql計劃。2014年將是這種非結構化查詢語言成為重點的一年。把搜索集成到hadoop將為查找重要信息的企業(yè)用戶提供一種簡單和直觀的方法。搜索引擎還是包括推薦引擎在內的許多發(fā)現(xiàn)和分析應用的核心。
  
  10. hadoop將獲得地位
  
  hadoop將繼續(xù)取代其它it開支,顛覆企業(yè)數(shù)據(jù)倉庫和企業(yè)存儲。例如,甲骨文的主要營收目標在過去的10個季度里有5個季度沒有實現(xiàn)。teradata在過去的5個季度有4個季度沒有實現(xiàn)營收和利潤目標。
  
  11. hadoop仍需要幫助才能成為主流應用
  
  更多的機構認識到apache hadoop本身還沒有準備好在企業(yè)應用。apache hadoop不是為系統(tǒng)管理或者災難恢復等統(tǒng)一企業(yè)it流程設計的。企業(yè)將繼續(xù)推進混合的解決方案,把架構技術創(chuàng)新與apache hadoop的開源軟件結合在一起。