大數(shù)據(jù)中數(shù)據(jù)挖掘技術的挑戰(zhàn)

首先，數(shù)據(jù)挖掘簡單的來說就是從一堆數(shù)據(jù)里面找有價值的東西。現(xiàn)在數(shù)據(jù)也是資產(chǎn)，將來會有一個經(jīng)營數(shù)據(jù)的公司。所以數(shù)據(jù)是新的石油，我們要從這里采礦，練成各種各樣有用的東西。所以誰擁有數(shù)據(jù)，誰就擁有未來，數(shù)據(jù)是企業(yè)未來的核心競爭力。
   大數(shù)據(jù)的一個特點是數(shù)據(jù)量大，它必須達到一個程度，大數(shù)據(jù)在2012年的時候已經(jīng)有PB級了。 大數(shù)據(jù)的結構是非結構化的，我們很難用表格存起來的。而且這個不能進行形式化的數(shù)據(jù)占85%以上，目前用傳統(tǒng)方法只能分析15%的量。所以做大數(shù)據(jù)研究非常重要。另外就是數(shù)據(jù)密度低，比如視頻流，我就想看一個車怎么發(fā)生事故的，實際也就幾秒鐘，但是存量存了非常多，沒有用的占大多數(shù)，有用的只有那么幾秒鐘，所以價值的密度比較低，但是我們就要這一點，但是不能因為別的沒有價值就把它去掉，所以這對存儲提出了非常大的挑戰(zhàn)。

大數(shù)據(jù)分析的要求跟傳統(tǒng)的數(shù)據(jù)分析有很多不一樣。第一個大數(shù)據(jù)分析更注重有效性，而不是完整性。時效性的數(shù)據(jù)就是當下要做決定時候的數(shù)據(jù)，不需要分析得非常準確，但是要非?？?。不需要對原來十年的數(shù)據(jù)再加上今天的數(shù)據(jù)，否則的話你的效率非常低。另外要注重宏觀性而不是微觀性，我們要掌握數(shù)據(jù)隱藏的一些大的規(guī)律，十年的規(guī)律、五年的規(guī)律等等。

第二個是數(shù)據(jù)復雜，對于分析模型的建立提出了更多挑戰(zhàn)。Hadoop平臺是大數(shù)據(jù)分析的平臺，很多公司都在這個基礎上開發(fā)了自己的東西，來提供給其他的企業(yè)進行分析，包括客戶關系分析、用戶體驗的分析，但實際上如果大家都去這個平臺，有非常大安全性風險。所以用一個開放的平臺，安全性是非常緊迫的事。

第三個就是分析，大數(shù)據(jù)的噪聲非常多，去噪聲技術的要求更強烈。還有大數(shù)據(jù)的新型表示方法，還有大數(shù)據(jù)的存儲成本，大數(shù)據(jù)存儲要人維護，要人備份，要人檢查。還有半結構和結構化的高效處理。視頻怎么處理，圖片怎么處理，文本怎么處理，所以要精確的分析要依靠技術。

挑戰(zhàn)四就是數(shù)據(jù)動態(tài)增長，數(shù)據(jù)量太大，怎么樣對數(shù)據(jù)進行分布式的并行的處理?

挑戰(zhàn)五是大數(shù)據(jù)的可視化，讓不懂數(shù)據(jù)的人看得懂，要讓決策者們看得懂，這是要有很多的智慧的。而對大數(shù)據(jù)來說，得到的結果往往非常的復雜，非常的抽象，你要用圖形的方式表達出來讓大部分理解，并且用它來指導決策.這是五個我認為比較大的挑戰(zhàn)。
靈玖軟件全稱靈玖中科軟件（北京）有限公司專注于大數(shù)據(jù)搜索與挖掘的技術創(chuàng)新與服務，提供大數(shù)據(jù)搜索、大數(shù)據(jù)挖掘與大數(shù)據(jù)應用解決方案，以應對大數(shù)據(jù)的管理、處理、分析并從大數(shù)據(jù)中獲知識與智慧，將用戶的大數(shù)據(jù)困境轉變?yōu)榇髷?shù)據(jù)寶藏。靈玖軟件憑借15年的堅持，精耕細作，目前已服務于全球30萬家機構，成為大數(shù)據(jù)分析領域第一引擎。這個平臺從2000年開始，寫下第一組代碼到現(xiàn)在一起伴隨著互聯(lián)網(wǎng)走進大數(shù)據(jù)時代，現(xiàn)與各大知名互聯(lián)網(wǎng)公司，企業(yè)，單位，機構一起編制中國的互聯(lián)網(wǎng)中國夢。服務于消費者，服務于企業(yè)機構。為你提供大數(shù)據(jù)一站式解決方案，使數(shù)據(jù)能夠從不同的角度重新組織并獲得新的認識。

Hadoop、Spark、還有機器學習、統(tǒng)計、數(shù)據(jù)可視化、通用的編程語言、創(chuàng)造力和問題解決能力，每一個都非常重要，大數(shù)據(jù)的分析結果是用來決策的。

簡要的總結，大數(shù)據(jù)時代的到來引起了一場技術革命，將會影響我們生活的方方面面。我們無法逃避大數(shù)據(jù)時代。大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術一定要順應大數(shù)據(jù)的新要求和變化。誰掌握了最核心的技術，誰最先引進最前進的技術，誰就將在大數(shù)據(jù)時代立于不敗之地。