盤點(diǎn)：數(shù)據(jù)挖掘歷史中的那些重要里程碑

數(shù)據(jù)挖掘現(xiàn)在隨處可見，而它的故事在《點(diǎn)球成金》出版和“棱鏡門”事件發(fā)生之前就已經(jīng)開始了。下文敘述的就是數(shù)據(jù)挖掘的主要里程碑，歷史上的第一次，它是怎樣發(fā)展以及怎樣與數(shù)據(jù)科學(xué)和大數(shù)據(jù)融合。

數(shù)據(jù)挖掘是在大數(shù)據(jù)集（即：大數(shù)據(jù)）上探索和揭示模式規(guī)律的計(jì)算過程。它是計(jì)算機(jī)科學(xué)的分支，融合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)科學(xué)、數(shù)據(jù)庫理論和機(jī)器學(xué)習(xí)等眾多技術(shù)。

1763年Thomas Bayes 的論文在他死后發(fā)表，他所提出的 Bayes 理論將當(dāng)前概率與先驗(yàn)概率聯(lián)系起來。因?yàn)?Bayes 理論能夠幫助理解基于概率估計(jì)的復(fù)雜現(xiàn)況，所以它成為了數(shù)據(jù)挖掘和概率論的基礎(chǔ)。1805年Adrien-Marie Legendre 和 Carl Friedrich Gauss 使用回歸確定了天體（彗星和行星）繞行太陽的軌道。回歸分析的目標(biāo)是估計(jì)變量之間的關(guān)系，在這個(gè)例子中采用的方法是最小二乘法。自此，回歸成為數(shù)據(jù)挖掘的重要工具之一。1936年計(jì)算機(jī)時(shí)代即將到來，它讓海量數(shù)據(jù)的收集和處理成為可能。在1936年發(fā)表的論文《論可計(jì)算數(shù)（On Computable Numbers）》中，Alan Turing 介紹了通用機(jī)（通用圖靈機(jī)）的構(gòu)想，通用機(jī)具有像今天的計(jì)算機(jī)一般的計(jì)算能力。現(xiàn)代計(jì)算機(jī)就是在圖靈這一開創(chuàng)性概念上建立起來的。1943年Warren McCullon 和 Walter Pitts 首先構(gòu)建出神經(jīng)網(wǎng)絡(luò)的概念模型。在名為 《A logical calculus of the ideas immanent in nervous activity》 的論文中，他們闡述了網(wǎng)絡(luò)中神經(jīng)元的概念。每一個(gè)神經(jīng)元可以做三件事情：接受輸入，處理輸入和生成輸出。1965年Lawrence J. Fogel 成立了一個(gè)新的公司，名為 Decision Science, Inc，目的是對進(jìn)化規(guī)劃進(jìn)行應(yīng)用。這是第一家專門將進(jìn)化計(jì)算應(yīng)用于解決現(xiàn)實(shí)世界問題的公司。1970年隨著數(shù)據(jù)庫管理系統(tǒng)趨于成熟，存儲和查詢百萬兆字節(jié)甚至千萬億字節(jié)成為可能。而且，數(shù)據(jù)倉庫允許用戶從面向事物處理的思維方式向更注重?cái)?shù)據(jù)分析的方式進(jìn)行轉(zhuǎn)變。然而，從這些多維模型的數(shù)據(jù)倉庫中提取復(fù)雜深度信息的能力是非常有限的。1975年John Henry Holland 所著的《自然與人工系統(tǒng)中的適應(yīng)》問世，成為遺傳算法領(lǐng)域具有開創(chuàng)意義的著作。這本書講解了遺傳算法領(lǐng)域中的基本知識，闡述理論基礎(chǔ)，探索其應(yīng)用。1980年HNC 對“數(shù)據(jù)挖掘”這個(gè)短語注冊了商標(biāo)。注冊這個(gè)商標(biāo)的目的是為了保護(hù)名為“數(shù)據(jù)挖掘工作站”的產(chǎn)品的知識產(chǎn)權(quán)。該工作站是一種構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的通用工具，不過現(xiàn)在早已銷聲匿跡。也正是在這個(gè)時(shí)期，出現(xiàn)了一些成熟的算法，能夠“學(xué)習(xí)”數(shù)據(jù)間關(guān)系，相關(guān)領(lǐng)域的專家能夠從中推測出各種數(shù)據(jù)關(guān)系的實(shí)際意義。1989年術(shù)語“數(shù)據(jù)庫中的知識發(fā)現(xiàn)”（KDD）被Gregory Piatetsky-Shapiro 提出。同樣這個(gè)時(shí)期，他合作建立起第一個(gè)同樣名為KDD的研討會(huì)。1990年“數(shù)據(jù)挖掘”這個(gè)術(shù)語出現(xiàn)在數(shù)據(jù)庫社區(qū)。零售公司和金融團(tuán)體使用數(shù)據(jù)挖掘分析數(shù)據(jù)和觀察趨勢以擴(kuò)大客源，預(yù)測利率的波動(dòng)，股票價(jià)格以及顧客需求。1992年Berhard E. Boser, Isabelle M. Guyon 和 Vladimir N. Vanik對原始的支持向量機(jī)提出了一種改進(jìn)辦法，新的支持向量機(jī)充分考慮到非線性分類器的構(gòu)建。支持向量機(jī)是一種監(jiān)督學(xué)習(xí)方法，用分類和回歸分析的方法進(jìn)行數(shù)據(jù)分析和模式識別式。1993年Gregory Piatetsky-Shapiro 創(chuàng)立“ Knowledge Discovery Nuggets (KDnuggets) ”通訊。本意是聯(lián)系參加KDD研討會(huì)的研究者，然而KDnuggets.com的讀者群現(xiàn)在似乎廣泛得多。2001年盡管“數(shù)據(jù)科學(xué)”這個(gè)術(shù)語在六十年代就已存在，但直至 2001 年，William S. Cleveland 才以一個(gè)獨(dú)立的概念介紹它。根據(jù)《Building Data Science Teams》所著，DJ Patil 和 Jeff Hammerbacher 隨后使用這個(gè)術(shù)語介紹他們在 LinkedIn 和 Facebook 中承擔(dān)的角色 。2003年Micheal Lewis 寫的 《點(diǎn)球成金》 出版，同時(shí)它也改變了許多主流聯(lián)賽決策層的工作方式。奧克蘭運(yùn)動(dòng)家隊(duì)（美國職業(yè)棒球大聯(lián)盟球隊(duì)）使用一種統(tǒng)計(jì)的，數(shù)據(jù)驅(qū)動(dòng)的方式針對球員的素質(zhì)進(jìn)行篩選，這些球員被低估或者身價(jià)更低。以這種方式，他們成功組建了一支打進(jìn)2002和2003年季后賽的隊(duì)伍，而他們的薪金總額只有對手的1/3。2015年在 2015 年二月，DJ Patil成為白宮第一位首位數(shù)據(jù)科學(xué)家。今天，數(shù)據(jù)挖掘已經(jīng)遍布商業(yè)、科學(xué)、工程和醫(yī)藥，這還只是一小部分。信用卡交易，股票市場流動(dòng)，國家安全，基因組測序以及臨床試驗(yàn)方面的挖掘，都只是指數(shù)據(jù)挖掘應(yīng)用的冰山一角。隨著數(shù)據(jù)收集成本變得越來越低，數(shù)據(jù)收集設(shè)備數(shù)目激增，像大數(shù)據(jù)這樣的專有名詞現(xiàn)在已經(jīng)是隨處可見。