大數(shù)據(jù)中數(shù)據(jù)挖掘技術(shù)的挑戰(zhàn)

首先，數(shù)據(jù)挖掘簡單的來說就是從一堆數(shù)據(jù)里面找有價(jià)值的東西。現(xiàn)在數(shù)據(jù)也是資產(chǎn)，將來會有一個(gè)經(jīng)營數(shù)據(jù)的公司。所以數(shù)據(jù)是新的石油，我們要從這里采礦，練成各種各樣有用的東西。所以誰擁有數(shù)據(jù)，誰就擁有未來，數(shù)據(jù)是企業(yè)未來的核心競爭力。
   大數(shù)據(jù)的一個(gè)特點(diǎn)是數(shù)據(jù)量大，它必須達(dá)到一個(gè)程度，大數(shù)據(jù)在2012年的時(shí)候已經(jīng)有PB級了。 大數(shù)據(jù)的結(jié)構(gòu)是非結(jié)構(gòu)化的，我們很難用表格存起來的。而且這個(gè)不能進(jìn)行形式化的數(shù)據(jù)占85%以上，目前用傳統(tǒng)方法只能分析15%的量。所以做大數(shù)據(jù)研究非常重要。另外就是數(shù)據(jù)密度低，比如視頻流，我就想看一個(gè)車怎么發(fā)生事故的，實(shí)際也就幾秒鐘，但是存量存了非常多，沒有用的占大多數(shù)，有用的只有那么幾秒鐘，所以價(jià)值的密度比較低，但是我們就要這一點(diǎn)，但是不能因?yàn)閯e的沒有價(jià)值就把它去掉，所以這對存儲提出了非常大的挑戰(zhàn)。

大數(shù)據(jù)分析的要求跟傳統(tǒng)的數(shù)據(jù)分析有很多不一樣。第一個(gè)大數(shù)據(jù)分析更注重有效性，而不是完整性。時(shí)效性的數(shù)據(jù)就是當(dāng)下要做決定時(shí)候的數(shù)據(jù)，不需要分析得非常準(zhǔn)確，但是要非?？?。不需要對原來十年的數(shù)據(jù)再加上今天的數(shù)據(jù)，否則的話你的效率非常低。另外要注重宏觀性而不是微觀性，我們要掌握數(shù)據(jù)隱藏的一些大的規(guī)律，十年的規(guī)律、五年的規(guī)律等等。

第二個(gè)是數(shù)據(jù)復(fù)雜，對于分析模型的建立提出了更多挑戰(zhàn)。Hadoop平臺是大數(shù)據(jù)分析的平臺，很多公司都在這個(gè)基礎(chǔ)上開發(fā)了自己的東西，來提供給其他的企業(yè)進(jìn)行分析，包括客戶關(guān)系分析、用戶體驗(yàn)的分析，但實(shí)際上如果大家都去這個(gè)平臺，有非常大安全性風(fēng)險(xiǎn)。所以用一個(gè)開放的平臺，安全性是非常緊迫的事。

第三個(gè)就是分析，大數(shù)據(jù)的噪聲非常多，去噪聲技術(shù)的要求更強(qiáng)烈。還有大數(shù)據(jù)的新型表示方法，還有大數(shù)據(jù)的存儲成本，大數(shù)據(jù)存儲要人維護(hù)，要人備份，要人檢查。還有半結(jié)構(gòu)和結(jié)構(gòu)化的高效處理。視頻怎么處理，圖片怎么處理，文本怎么處理，所以要精確的分析要依靠技術(shù)。

挑戰(zhàn)四就是數(shù)據(jù)動態(tài)增長，數(shù)據(jù)量太大，怎么樣對數(shù)據(jù)進(jìn)行分布式的并行的處理?

挑戰(zhàn)五是大數(shù)據(jù)的可視化，讓不懂?dāng)?shù)據(jù)的人看得懂，要讓決策者們看得懂，這是要有很多的智慧的。而對大數(shù)據(jù)來說，得到的結(jié)果往往非常的復(fù)雜，非常的抽象，你要用圖形的方式表達(dá)出來讓大部分理解，并且用它來指導(dǎo)決策.這是五個(gè)我認(rèn)為比較大的挑戰(zhàn)。
靈玖軟件全稱靈玖中科軟件（北京）有限公司專注于大數(shù)據(jù)搜索與挖掘的技術(shù)創(chuàng)新與服務(wù)，提供大數(shù)據(jù)搜索、大數(shù)據(jù)挖掘與大數(shù)據(jù)應(yīng)用解決方案，以應(yīng)對大數(shù)據(jù)的管理、處理、分析并從大數(shù)據(jù)中獲知識與智慧，將用戶的大數(shù)據(jù)困境轉(zhuǎn)變?yōu)榇髷?shù)據(jù)寶藏。靈玖軟件憑借15年的堅(jiān)持，精耕細(xì)作，目前已服務(wù)于全球30萬家機(jī)構(gòu)，成為大數(shù)據(jù)分析領(lǐng)域第一引擎。這個(gè)平臺從2000年開始，寫下第一組代碼到現(xiàn)在一起伴隨著互聯(lián)網(wǎng)走進(jìn)大數(shù)據(jù)時(shí)代，現(xiàn)與各大知名互聯(lián)網(wǎng)公司，企業(yè)，單位，機(jī)構(gòu)一起編制中國的互聯(lián)網(wǎng)中國夢。服務(wù)于消費(fèi)者，服務(wù)于企業(yè)機(jī)構(gòu)。為你提供大數(shù)據(jù)一站式解決方案，使數(shù)據(jù)能夠從不同的角度重新組織并獲得新的認(rèn)識。

Hadoop、Spark、還有機(jī)器學(xué)習(xí)、統(tǒng)計(jì)、數(shù)據(jù)可視化、通用的編程語言、創(chuàng)造力和問題解決能力，每一個(gè)都非常重要，大數(shù)據(jù)的分析結(jié)果是用來決策的。

簡要的總結(jié)，大數(shù)據(jù)時(shí)代的到來引起了一場技術(shù)革命，將會影響我們生活的方方面面。我們無法逃避大數(shù)據(jù)時(shí)代。大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)一定要順應(yīng)大數(shù)據(jù)的新要求和變化。誰掌握了最核心的技術(shù)，誰最先引進(jìn)最前進(jìn)的技術(shù)，誰就將在大數(shù)據(jù)時(shí)代立于不敗之地。