數(shù)據(jù)挖掘歷史中的重要里程碑_數(shù)據(jù)分析師培訓(xùn)

數(shù)據(jù)挖掘現(xiàn)在隨處可見，而它的故事在《點(diǎn)球成金》出版和“棱鏡門”事件發(fā)生之前就已經(jīng)開始了。下文敘述的就是數(shù)據(jù)挖掘的主要里程碑，歷史上的第一次，它是怎樣發(fā)展以及怎樣與數(shù)據(jù)科學(xué)和大數(shù)據(jù)融合。

數(shù)據(jù)挖掘是在大數(shù)據(jù)集（即：大數(shù)據(jù)）上探索和揭示模式規(guī)律的計(jì)算過程。它是計(jì)算機(jī)科學(xué)的分支，融合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)科學(xué)、數(shù)據(jù)庫(kù)理論和機(jī)器學(xué)習(xí)等眾多技術(shù)。

1763 年，Thomas Bayes 的論文在他死后發(fā)表，他所提出的 Bayes 理論將當(dāng)前概率與先驗(yàn)概率聯(lián)系起來(lái)。因?yàn)?Bayes 理論能夠幫助理解基于概率估計(jì)的復(fù)雜現(xiàn)況，所以它成為了數(shù)據(jù)挖掘和概率論的基礎(chǔ)。

1805 年, Adrien-Marie Legendre 和 Carl Friedrich Gauss 使用回歸確定了天體（彗星和行星）繞行太陽(yáng)的軌道。回歸分析的目標(biāo)是估計(jì)變量之間的關(guān)系，在這個(gè)例子中采用的方法是最小二乘法。自此，回歸成為數(shù)據(jù)挖掘的重要工具之一。

1936 年，計(jì)算機(jī)時(shí)代即將到來(lái)，它讓海量數(shù)據(jù)的收集和處理成為可能。在1936年發(fā)表的論文《論可計(jì)算數(shù)（On Computable Numbers）》中，Alan Turing 介紹了通用機(jī)（通用圖靈機(jī)）的構(gòu)想，通用機(jī)具有像今天的計(jì)算機(jī)一般的計(jì)算能力。現(xiàn)代計(jì)算機(jī)就是在圖靈這一開創(chuàng)性概念上建立起來(lái)的。

1943 年，Warren McCullon 和 Walter Pitts 首先構(gòu)建出神經(jīng)網(wǎng)絡(luò)的概念模型。在名為 《A logical calculus of the ideas immanent in nervous activity》 的論文中，他們闡述了網(wǎng)絡(luò)中神經(jīng)元的概念。每一個(gè)神經(jīng)元可以做三件事情：接受輸入，處理輸入和生成輸出。

1965 年，Lawrence J. Fogel 成立了一個(gè)新的公司，名為 Decision Science, Inc，目的是對(duì)進(jìn)化規(guī)劃進(jìn)行應(yīng)用。這是第一家專門將進(jìn)化計(jì)算應(yīng)用于解決現(xiàn)實(shí)世界問題的公司。

上世紀(jì) 70 年代，隨著數(shù)據(jù)庫(kù)管理系統(tǒng)趨于成熟，存儲(chǔ)和查詢百萬(wàn)兆字節(jié)甚至千萬(wàn)億字節(jié)成為可能。而且，數(shù)據(jù)倉(cāng)庫(kù)允許用戶從面向事物處理的思維方式向更注重?cái)?shù)據(jù)分析的方式進(jìn)行轉(zhuǎn)變。然而，從這些多維模型的數(shù)據(jù)倉(cāng)庫(kù)中提取復(fù)雜深度信息的能力是非常有限的。

1975 年，John Henry Holland 所著的《自然與人工系統(tǒng)中的適應(yīng)》問世，成為遺傳算法領(lǐng)域具有開創(chuàng)意義的著作。這本書講解了遺傳算法領(lǐng)域中的基本知識(shí)，闡述理論基礎(chǔ)，探索其應(yīng)用。

到了 80 年代，HNC 對(duì)“數(shù)據(jù)挖掘”這個(gè)短語(yǔ)注冊(cè)了商標(biāo)。注冊(cè)這個(gè)商標(biāo)的目的是為了保護(hù)名為“數(shù)據(jù)挖掘工作站”的產(chǎn)品的知識(shí)產(chǎn)權(quán)。該工作站是一種構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的通用工具，不過現(xiàn)在早已銷聲匿跡。也正是在這個(gè)時(shí)期，出現(xiàn)了一些成熟的算法，能夠“學(xué)習(xí)”數(shù)據(jù)間關(guān)系，相關(guān)領(lǐng)域的專家能夠從中推測(cè)出各種數(shù)據(jù)關(guān)系的實(shí)際意義。

1989 年，術(shù)語(yǔ)“數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)”（KDD）被Gregory Piatetsky-Shapiro 提出。同樣這個(gè)時(shí)期，他合作建立起第一個(gè)同樣名為KDD的研討會(huì)。

到了 90 年代，“數(shù)據(jù)挖掘”這個(gè)術(shù)語(yǔ)出現(xiàn)在數(shù)據(jù)庫(kù)社區(qū)。零售公司和金融團(tuán)體使用數(shù)據(jù)挖掘分析數(shù)據(jù)和觀察趨勢(shì)以擴(kuò)大客源，預(yù)測(cè)利率的波動(dòng)，股票價(jià)格以及顧客需求。

1992 年，Berhard E. Boser, Isabelle M. Guyon 和 Vladimir N. Vanik對(duì)原始的支持向量機(jī)提出了一種改進(jìn)辦法，新的支持向量機(jī)充分考慮到非線性分類器的構(gòu)建。支持向量機(jī)是一種監(jiān)督學(xué)習(xí)方法，用分類和回歸分析的方法進(jìn)行數(shù)據(jù)分析和模式識(shí)別式。

1993 年，Gregory Piatetsky-Shapiro 創(chuàng)立“ Knowledge Discovery Nuggets (KDnuggets) ”通訊。本意是聯(lián)系參加KDD研討會(huì)的研究者，然而KDnuggets.com的讀者群現(xiàn)在似乎廣泛得多。

2001 年，盡管“數(shù)據(jù)科學(xué)”這個(gè)術(shù)語(yǔ)在六十年代就已存在，但直至 2001 年，William S. Cleveland 才以一個(gè)獨(dú)立的概念介紹它。根據(jù)《Building Data Science Teams》所著，DJ Patil 和 Jeff Hammerbacher 隨后使用這個(gè)術(shù)語(yǔ)介紹他們?cè)?LinkedIn 和 Facebook 中承擔(dān)的角色 。

2003 年，Micheal Lewis 寫的 《點(diǎn)球成金》 出版，同時(shí)它也改變了許多主流聯(lián)賽決策層的工作方式。奧克蘭運(yùn)動(dòng)家隊(duì)（美國(guó)職業(yè)棒球大聯(lián)盟球隊(duì)）使用一種統(tǒng)計(jì)的，數(shù)據(jù)驅(qū)動(dòng)的方式針對(duì)球員的素質(zhì)進(jìn)行篩選，這些球員被低估或者身價(jià)更低。以這種方式，他們成功組建了一支打進(jìn)2002和2003年季后賽的隊(duì)伍，而他們的薪金總額只有對(duì)手的1/3。

如今（2015年），在 2015 年二月，DJ Patil成為白宮第一位首位數(shù)據(jù)科學(xué)家。今天，數(shù)據(jù)挖掘已經(jīng)遍布商業(yè)、科學(xué)、工程和醫(yī)藥，這還只是一小部分。信用卡交易，股票市場(chǎng)流動(dòng)，國(guó)家安全，基因組測(cè)序以及臨床試驗(yàn)方面的挖掘，都只是指數(shù)據(jù)挖掘應(yīng)用的冰山一角。隨著數(shù)據(jù)收集成本變得越來(lái)越低，數(shù)據(jù)收集設(shè)備數(shù)目激增，像大數(shù)據(jù)這樣的專有名詞現(xiàn)在已經(jīng)是隨處可見。

數(shù)據(jù)挖掘的故事就是這樣，匆匆而過！我是否錯(cuò)還過了什么值得提及的事情？我是不是對(duì)某些事情敘述的還不夠準(zhǔn)確？請(qǐng)?jiān)谙旅娴脑u(píng)論中讓我知道，或者直接郵件聯(lián)系我。