數(shù)據(jù)分析的未來：2016年分析領(lǐng)域5大預(yù)測

我所處的位置決定我看世界的角度。從這里望去，2016 年的數(shù)據(jù)分析領(lǐng)域令人振奮。有史以來，分析領(lǐng)域從未如此重要、如此有趣。

1. 機(jī)器學(xué)習(xí)在企業(yè)生根發(fā)芽

機(jī)器學(xué)習(xí)(Machine learning)的歷史可以追溯到 1950 年，但直到最近，它都只是精英人才的領(lǐng)域并長期被人忽視。我預(yù)言機(jī)器學(xué)習(xí)會就此穩(wěn)步發(fā)展，因為許多大型企業(yè)正在接納機(jī)器學(xué)習(xí)。如今除了研究者和數(shù)字時代原住民，企業(yè)也在探索如何把機(jī)器學(xué)習(xí)變?yōu)樯a(chǎn)力。在一些已經(jīng)規(guī)范化的行業(yè)，模型解釋性較差，曾導(dǎo)致模型難以應(yīng)用。如今這些行業(yè)的從業(yè)者使用機(jī)器學(xué)習(xí)，尋找更多創(chuàng)造性的方法，從模型中選擇變量，而這些變量之后能由常用工具進(jìn)一步構(gòu)建。機(jī)器學(xué)習(xí)從多個學(xué)科中獲取營養(yǎng)，所以未來預(yù)計會產(chǎn)生更多跨學(xué)科的興趣?；叵肴ツ?INFORMS 年會的主題，Dimitris Bertsimas 講“現(xiàn)代優(yōu)化視野下的統(tǒng)計與機(jī)器學(xué)習(xí)”( Statistics and Machine Learning via a Modern Optimization Lens )。我的同事 Patrick Hall 也對于“為什么是機(jī)器學(xué)習(xí)?為什么是現(xiàn)在?”(Why Machine Learning? Why Now?)這一話題給出了他的看法。

2. 物聯(lián)網(wǎng)大潮降溫，面對現(xiàn)實

根據(jù) Gartner 公司的新科技周期理論(Hype Cycle)來看，物聯(lián)網(wǎng)(Internet of Things, IoT)正處在科技周期的頂峰。但在 2016 年我預(yù)計物聯(lián)網(wǎng)這個概念將有所降溫，開始面對現(xiàn)實。如何采集是一個很實際的障礙——信息太多了。我的一個同事正在把我們新大樓的HVAC 暖通系統(tǒng)，作為一個物聯(lián)網(wǎng)測試項目進(jìn)行分析。這棟樓里到處都是傳感器，但獲取數(shù)據(jù)卻并不容易。設(shè)施部門告訴他這是IT部門的職權(quán)，IT部門把他又踢到了制造商那里，因為 HVAC 收集數(shù)據(jù)之后發(fā)送給了制造商?！皵?shù)據(jù)所有權(quán)”是一個在逐漸浮現(xiàn)的議題：你生產(chǎn)了數(shù)據(jù)，卻無法獲取它。如何證實自己的價值是物聯(lián)網(wǎng)面對的更大挑戰(zhàn)。物聯(lián)網(wǎng)在企業(yè)級的整體生產(chǎn)應(yīng)用依然有限。物聯(lián)網(wǎng)給出的承諾無與倫比，所以在 2016 年讓我們期待早期使用者們能解決問題，給出答案。

3. 大數(shù)據(jù)走出喧囂，讓模型變得豐富

大數(shù)據(jù)已經(jīng)走出了喧囂，產(chǎn)生了實際的價值。如今的建模者可以獲取的數(shù)據(jù)種類前所未有地豐富(例如，非結(jié)構(gòu)數(shù)據(jù)，地理空間數(shù)據(jù)，圖像，聲音)，而這些數(shù)據(jù)使得模型可以變得更加豐富。大數(shù)據(jù)的另一新進(jìn)展來自各類競賽，這些競賽超越了之前游戲化的形式，通過眾包和數(shù)據(jù)分享產(chǎn)生了實際價值。拿前列腺癌 DREAM 挑戰(zhàn)為例，參賽隊伍使用四種臨床診斷的匿名數(shù)據(jù)挑戰(zhàn)開放的臨床研究問題。這些數(shù)據(jù)來源眾多，大部分是第一次公之于眾。參賽隊伍的數(shù)目史無前例，最終的獲勝者戰(zhàn)勝了之前此領(lǐng)域尖端研究者開發(fā)的模型。

4. 通過分析提高信息安全

隨著物聯(lián)網(wǎng)發(fā)展，傳感器的廣泛使用肯定讓數(shù)碼空間的犯罪分子感到興奮。他們使用這些設(shè)備，用一種緩慢而低調(diào)的木馬手段進(jìn)行劫持。許多傳統(tǒng)的偵查手段對此無效，因為偵查不再是尋找一個稀有事件的過程，而需要對情境中事件的累積進(jìn)行理解。跟物聯(lián)網(wǎng)一樣，信息安全面對的一個挑戰(zhàn)和數(shù)據(jù)有關(guān)。我預(yù)計先進(jìn)的分析作為追蹤數(shù)據(jù)的手段，能為偵查和預(yù)防做出新的貢獻(xiàn)。很可惜，本文無法談?wù)摯髷?shù)據(jù)的合作中正在發(fā)展出的方法，因為我們不想讓壞蛋知道我們是怎么發(fā)現(xiàn)它們的。這方面的許多優(yōu)秀工作都是在高度安全的隔離環(huán)境中完成的。不過，2016 年 SAS 和其他各方仍會高度關(guān)注信息安全。

5. 分析驅(qū)動著企業(yè)與學(xué)界加強(qiáng)互動

北卡羅來納州立大學(xué)的高級分析研究所(The Institute for Advanced Analytics, IAA)關(guān)注(數(shù)據(jù)分析師培訓(xùn))分析領(lǐng)域的碩士項目數(shù)量增長。新的碩士項目與日俱增。企業(yè)的招聘需求促進(jìn)了增長，但同時我也看到了它們對于研究的興趣。越來越多的企業(yè)在設(shè)立學(xué)術(shù)擴(kuò)展部門，并表現(xiàn)出對于研究合作的濃厚興趣。有時這種興趣超越合作伙伴關(guān)系，轉(zhuǎn)而直接雇傭?qū)W界名人。這些學(xué)界名人可能是休假期間來工作，或者在學(xué)界和企業(yè)往返。例如，機(jī)器學(xué)習(xí)頂尖研究者 Yann LeCun 曾在貝爾實驗室工作，也曾是紐約大學(xué)的教授，曾是建立紐約大學(xué)數(shù)據(jù)科學(xué)中心的主管，現(xiàn)在在 Facebook 帶領(lǐng)人工智能研究團(tuán)隊。INFORMS(運籌學(xué)與管理科學(xué)研究協(xié)會)，通過為學(xué)界提供與分析有關(guān)的教學(xué)材料的方式(數(shù)據(jù)分析培訓(xùn))，支持這種產(chǎn)學(xué)互動。