大數(shù)據(jù)挖掘關(guān)鍵技術(shù)及其應(yīng)用

首先，我介紹一下我掌握的大數(shù)據(jù)挖掘的核心技術(shù)；其次，我介紹一下我在做的三個(gè)項(xiàng)目。

　　這是我們當(dāng)前大數(shù)據(jù)存在的誤區(qū)：重視運(yùn)用，輕視了大數(shù)據(jù)的處理技術(shù)；重視“大”，忽視數(shù)據(jù)的本質(zhì)需求。

　　正如同石油一樣，如果沒有核心的開采、分解技術(shù)，是不能生產(chǎn)處汽油、柴油及各類工業(yè)用品的。

　　“IntelligencemultiplelinearregressionanalysisusingMapReduceprogrammingmode”這是我們做的第一個(gè)大數(shù)據(jù)預(yù)測(cè)算法，基于MapReduce編程模型。

　　Thenovelbigdataminingalgorithminclude3parts:

　　（1）multiplelinearregressionanalysis；

　?。?）SHC-PSOoptimizationapproach；

　　（3）MapReduceprogrammingmode.

　　主要包含三個(gè)部分:多元線性回歸預(yù)測(cè)、PSO智能變體算法。另外就是基于MapReduce編程模型，目前應(yīng)用在電影大數(shù)據(jù)分析領(lǐng)域。

　　“Intelligencew-k-meanclusteringalgorithmusingmapreduceprogrammingmode”這個(gè)是一個(gè)大數(shù)據(jù)聚類挖掘算法。

　　Thenovelbigdataminingalgorithminclude3parts:

　?。?）w-k-meanclusteringalgorithm；

　?。?）SHC-PSOapproach；

　?。?）MapReduceprogrammingmode；

　　其中，“w-k-meanclusteringalgorithm”是一個(gè)數(shù)據(jù)聚類算法變體。SHC-PSO是我提出的一個(gè)PSO算法變體，通過SHC-PSO來改進(jìn)“w-k-meanclusteringalgorithm”，最后通過“MapReduceprogrammingmode”來實(shí)現(xiàn)并行計(jì)算。

　　考慮到MapReduce編程模型局限性，為進(jìn)一步提升上述兩個(gè)挖掘算法的性能，我們改進(jìn)了MapReduce編程模型：

　　問題1：MapReduce編程模型怎么改進(jìn)的？

　　回答1：主要是根據(jù)負(fù)載均衡來實(shí)現(xiàn)自適應(yīng)分塊，原來是64M，現(xiàn)在是通過負(fù)載均衡來自適應(yīng)分塊，各個(gè)數(shù)據(jù)塊大小不一樣。

　　上面是我在大數(shù)據(jù)挖掘領(lǐng)域的三個(gè)研究點(diǎn)，下面我來介紹一下三個(gè)項(xiàng)目。由于跟公司有協(xié)議，不能介紹的太詳細(xì)。

　　1.影院行業(yè)大數(shù)據(jù)智能處理系統(tǒng)（這是第一個(gè)項(xiàng)目——國內(nèi)某大型影視企業(yè)的委托項(xiàng)目）

　　本項(xiàng)目針對(duì)影院大數(shù)據(jù)的量大、多樣、多變的特征，研究相應(yīng)的高效大數(shù)據(jù)智能處理算法和問題模型，從而發(fā)現(xiàn)電影大數(shù)據(jù)的商業(yè)和社會(huì)價(jià)值；并基于此開發(fā)影院大數(shù)據(jù)的智能處理平臺(tái)，在平臺(tái)上實(shí)現(xiàn)一個(gè)綜合應(yīng)用大數(shù)據(jù)智能處理技術(shù)的影院示范應(yīng)用，促進(jìn)大數(shù)據(jù)處理技術(shù)的發(fā)展，推動(dòng)影院大數(shù)據(jù)在票房預(yù)測(cè)、電影排產(chǎn)決策、影院排產(chǎn)預(yù)警等關(guān)鍵應(yīng)用領(lǐng)域取得突破。

　　谷歌也發(fā)布了基于搜索大數(shù)據(jù)的票房預(yù)測(cè)報(bào)告，在影片上映前一個(gè)月預(yù)測(cè)，準(zhǔn)確率高達(dá)94%。谷歌票房預(yù)測(cè)主要基于三個(gè)指標(biāo)，一是預(yù)告片播放量，二是同系列電影此前幾部的成績(jī)，三是電影檔期的季節(jié)特征。

　　所謂電影大數(shù)據(jù)分析，指通過收集整理各個(gè)方面的海量數(shù)據(jù)，對(duì)其進(jìn)行分析和挖掘，進(jìn)而從中獲得有價(jià)值的信息，并指導(dǎo)公司經(jīng)營、提高效益的一種新的商業(yè)模式。

　　我們對(duì)電影票房預(yù)測(cè)所用的數(shù)據(jù)：國內(nèi)歷史票房數(shù)據(jù)、互聯(lián)網(wǎng)站影片點(diǎn)擊、影片評(píng)分?jǐn)?shù)據(jù)、互聯(lián)網(wǎng)站影片的評(píng)論、搜索引擎影片搜索數(shù)量、微博與微信中的話題及活躍度，基于數(shù)據(jù)預(yù)測(cè)新上映影片在國內(nèi)的整體票房，通過影片預(yù)售情況進(jìn)行修正。

　　我們主要是通過多元線性回歸算法和mapreduce編程模型來是實(shí)現(xiàn)，目前在中山大學(xué)軟件學(xué)院私有云上進(jìn)行了測(cè)試（云平臺(tái)：16個(gè)節(jié)點(diǎn)服務(wù)器，有1、2臺(tái)是壞的）。

　　2.面向大數(shù)據(jù)的海洋碳匯微生物資源庫建設(shè)決策研究（第二個(gè)項(xiàng)目——廣州市建設(shè)國家級(jí)科技思想庫研究課題專項(xiàng)）

　　我國CO2排放量已超過美國成為世界第一排放大國，作為發(fā)展中國家，我們不能一味地硬性減排而犧牲經(jīng)濟(jì)發(fā)展。我們必須保障經(jīng)濟(jì)平穩(wěn)較快發(fā)展，出路是增加CO2的吸收和儲(chǔ)藏（碳匯），即“增匯”。“增匯”就是另一種形式的“減排”。

　　海洋是最大的碳庫。研究海洋儲(chǔ)碳機(jī)制，研發(fā)海洋碳匯，為我國應(yīng)對(duì)全球氣候變化提供科學(xué)依據(jù)，是國家急需。海洋占地球表面積71%，是地球上最大的“碳庫”。生物圈中循環(huán)的碳有95%存在于海洋中，海洋中的碳儲(chǔ)量是大氣圈的50倍、生物圈的20倍。海洋有著巨大的“增匯”潛力。

　?。?）海洋碳匯功能微生物信息數(shù)據(jù)庫構(gòu)建；

　?。?）海洋碳匯微生物大數(shù)據(jù)私有云；

　?。?）海洋碳匯微生物大數(shù)據(jù)智能處理；

　　?海洋微型生物碳匯特性智能檢測(cè)和預(yù)測(cè)

　　?分難降解產(chǎn)物細(xì)菌智能篩選

　　?嘗試常規(guī)難于分離菌的智能分離

　　3.面向大數(shù)據(jù)的高?？蒲泄芾硇畔⒒瓣P(guān)鍵技術(shù)研究（第三個(gè)項(xiàng)目——廣東省教育項(xiàng)目）

　　近年來，大數(shù)據(jù)引起了產(chǎn)業(yè)界、學(xué)術(shù)界以及政府部門的高度關(guān)注。高校作為我國科研創(chuàng)新的重要基地，科研信息化水平極大影響到高校創(chuàng)新事業(yè)的發(fā)展。目前我國高?？萍脊芾硇畔⒒嬖跀?shù)據(jù)共享度比較低，科技產(chǎn)出數(shù)據(jù)零散不系統(tǒng)，數(shù)據(jù)的質(zhì)量不理想，信息化數(shù)據(jù)的利用率低等問題。本項(xiàng)目研究了大數(shù)據(jù)的核心技術(shù)以及傳統(tǒng)模式下的科研管理面臨的挑戰(zhàn)，并提出了面向大數(shù)據(jù)技術(shù)的科研管理信息化解決方案。

　　融合科研管理信息化的大數(shù)據(jù)關(guān)鍵技術(shù)：

　?。?）大數(shù)據(jù)樣本選取策略；

　?。?）基于分布的大數(shù)據(jù)分治策略研究；

　?。?）大數(shù)據(jù)分類算法研究；

　?。?）大數(shù)據(jù)聚類算法研究；

　?。?）面向大數(shù)據(jù)的科研評(píng)估研究；

　?。?）面向大數(shù)據(jù)的項(xiàng)目立項(xiàng)決策研究；

　?。?）面向大數(shù)據(jù)的優(yōu)化科研資源配置研究；

　?。?）面向大數(shù)據(jù)的科研項(xiàng)目的全過程管理研究；

　?。?）面向大數(shù)據(jù)的科研規(guī)劃研究。

　　除了上述三個(gè)項(xiàng)目外，目前我們還在做大數(shù)據(jù)的可視化工作，我本人在上述三個(gè)項(xiàng)目中擔(dān)任項(xiàng)目經(jīng)理或主持人，我的匯報(bào)完畢，謝謝大家！希望大家提出指導(dǎo)意見！陶乾

　　問題2：陶博，就第二個(gè)應(yīng)用是否可展開一下？

　　回答2：由于涉及合作方，按照合同規(guī)定，目前項(xiàng)目?jī)?nèi)容還不能介紹的很詳細(xì)。請(qǐng)大家諒解！我介紹的第一個(gè)算：“multiplelinearregressionanalysis”——多元線性回歸分析，是在標(biāo)準(zhǔn)的多元線性回歸的基礎(chǔ)上采用我提出的SHC-PSOoptimizationapproach來進(jìn)行改進(jìn)，主要是通過pso變體算法來計(jì)算多元線性回歸參數(shù)，由于要處理大數(shù)據(jù)所以必須通過MapReduce來實(shí)現(xiàn)并行處理。

　　我們?cè)谠擃I(lǐng)域已經(jīng)申請(qǐng)了專利：一種面向大數(shù)據(jù)的智能預(yù)測(cè)方法及系統(tǒng)。根據(jù)大數(shù)據(jù)預(yù)處理方法從異構(gòu)的大數(shù)據(jù)源抽取和集成數(shù)據(jù)，在數(shù)據(jù)集成和提取時(shí)需要對(duì)數(shù)據(jù)進(jìn)行清洗，保證數(shù)據(jù)質(zhì)量；通過智能多元線性回歸模型進(jìn)行預(yù)測(cè)分析，并借助Mapreduce框架進(jìn)行并行處理。

　　問題3：對(duì)比過粒子群算法與其他算法的效率情況如何？

　　回答3：粒子群算法（PSO算法）主要是用來改進(jìn)多元線性回歸的性能的，我們與傳統(tǒng)的多元線性回歸比較多，參數(shù)計(jì)算和評(píng)估更為合理，多元線性回歸是一種很重要的預(yù)測(cè)方法。

　　問題4：輿情分析方面有什么應(yīng)用？

　　回答4：通過大數(shù)據(jù)輿情分析，可以助力企業(yè)洞察商機(jī)社交媒體發(fā)展，可以企業(yè)了解市場(chǎng)競(jìng)爭(zhēng)的行情,并協(xié)助企業(yè)制定相應(yīng)的市場(chǎng)經(jīng)營分析決策。輿情服務(wù)在進(jìn)行行業(yè)規(guī)范和整合，關(guān)鍵還是要對(duì)輿情大數(shù)據(jù)進(jìn)行有效分析，也就是要有高效、廉價(jià)的大數(shù)據(jù)分析方法。當(dāng)然大數(shù)據(jù)的應(yīng)用會(huì)帶來生活等各方面根本性轉(zhuǎn)變，但是必須建立在對(duì)大數(shù)據(jù)有效分析和處理的基礎(chǔ)上，否則大數(shù)據(jù)就是死數(shù)據(jù)，正如同石油在我們腳下幾千年也沒有發(fā)現(xiàn)其科學(xué)價(jià)值。

　　問題5：你們申請(qǐng)的專利是中國還是國際的？批準(zhǔn)了沒有？

　　回答5：專利是國內(nèi)的，是中科院負(fù)責(zé)處理。有網(wǎng)上抓的，有公司內(nèi)部的，有些因?yàn)轭A(yù)處理很困難就直接在網(wǎng)上通過爬蟲抓。“w-k-meanclusteringalgorithm”是“k-meanclusteringalgorithm”的變體。這個(gè)是黃哲學(xué)老師（我老師）提出的，我主要是SHC-PSO來改進(jìn)了“w-k-meanclusteringalgorithm”性能并是實(shí)現(xiàn)了并行處理。

　　問題6：w是什么？

　　回答6：是權(quán)重。

　　問題7：SHC一PSO全名是什么？

　　回答7：SHC-PSOapproach是pso的變體算法，是我在13年新提出的一種高維混沌PSO算法。

　　問題8：難點(diǎn)在計(jì)算w嗎？

　　回答8：w問題在08年應(yīng)該解決了，關(guān)鍵是如何通過群體智能策略來改進(jìn)聚類，兩者都是早熟收斂的。

　　問題9：加權(quán)是針對(duì)feature的屬性而改進(jìn)。針對(duì)大數(shù)據(jù)也許存在計(jì)算效率問題，你的分布式計(jì)算實(shí)現(xiàn)可以深入講講。

　　回答9：是的，有效率問題。一般的k-mean并性處理比較簡(jiǎn)單，關(guān)鍵是算法效率問題。

　　問題10：另外聚類需要計(jì)算相似性/距離，對(duì)于heterogenous大數(shù)據(jù)需要妥善處理，你在實(shí)現(xiàn)中采用了什么措施？

　　回答10：MapReduce還是當(dāng)前大數(shù)據(jù)處理的主要途徑。我們主要還是在數(shù)據(jù)預(yù)處理上下功夫，不可能將很多問題帶到挖掘算法中