數(shù)據(jù)科學(xué)面臨的共同挑戰(zhàn)有哪些

隨著我們進(jìn)入2018年，是時(shí)候看看那些使用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的公司面臨的共同挑戰(zhàn)。假設(shè)你的公司已經(jīng)在大規(guī)模收集數(shù)據(jù)，需要用到分析工具，而且你已經(jīng)認(rèn)識(shí)到數(shù)據(jù)科學(xué)可以發(fā)揮重大作用(包括改善決策或企業(yè)經(jīng)營(yíng)、增加收入等等)，并進(jìn)行了優(yōu)先排序。收集數(shù)據(jù)和識(shí)別感興趣的問題并非小事，但假設(shè)你已經(jīng)在這些方面起了個(gè)好頭，那么還剩下哪些挑戰(zhàn)呢?

數(shù)據(jù)科學(xué)是一個(gè)寬泛的話題，所以我要說明一下：本文主要探討的是督導(dǎo)式機(jī)器學(xué)習(xí)的使用現(xiàn)狀。

一切從(訓(xùn)練)數(shù)據(jù)開始

假設(shè)你有一支處理數(shù)據(jù)攝取和整合的團(tuán)隊(duì)，以及一支維護(hù)數(shù)據(jù)平臺(tái)(“真相來源”)的團(tuán)隊(duì)，新的數(shù)據(jù)來源不斷出現(xiàn)，由領(lǐng)域?qū)＜邑?fù)責(zé)找出這些數(shù)據(jù)來源。而且，由于我們主要探討督導(dǎo)式學(xué)習(xí)，因此，訓(xùn)練數(shù)據(jù)的缺乏依然是機(jī)器學(xué)習(xí)項(xiàng)目的首要瓶頸，這一點(diǎn)毫不意外。

在迅速創(chuàng)建龐大的訓(xùn)練數(shù)據(jù)集(或者加強(qiáng)現(xiàn)有的訓(xùn)練數(shù)據(jù)集)方面，有一些很好的研究項(xiàng)目和工具。斯坦福大學(xué)的研究人員已經(jīng)證明，弱監(jiān)督和數(shù)據(jù)編程可以用來訓(xùn)練模型，不必使用大量手工標(biāo)記的訓(xùn)練數(shù)據(jù)。深度學(xué)習(xí)研究人員對(duì)生成式模型的初步研究，已經(jīng)在無督導(dǎo)式學(xué)習(xí)的計(jì)算機(jī)視覺和其他領(lǐng)域取得了可喜的成果。

“思考特性而不是算法”，這是在機(jī)器學(xué)習(xí)背景下評(píng)估數(shù)據(jù)的另一個(gè)有用方法。友情提示：數(shù)據(jù)擴(kuò)充可能改善你的現(xiàn)有模型，在某些情況下，甚至有助于緩解冷啟動(dòng)問題。大部分?jǐn)?shù)據(jù)科學(xué)家可能已經(jīng)利用開源數(shù)據(jù)或者通過第三方數(shù)據(jù)提供商，來擴(kuò)充他們的現(xiàn)有數(shù)據(jù)集，但我發(fā)現(xiàn)，數(shù)據(jù)擴(kuò)充有時(shí)會(huì)遭到忽視。人們覺得，獲取外部數(shù)據(jù)、使之規(guī)范化、并利用這些數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，這不像開發(fā)模型和算法那么具有吸引力。

從原型到產(chǎn)品

讓數(shù)據(jù)科學(xué)項(xiàng)目實(shí)現(xiàn)產(chǎn)品化，這是許多用例的目標(biāo)。為了使這一過程更有效率，近來出現(xiàn)了一個(gè)新的工作角色——機(jī)器學(xué)習(xí)工程師。還有一套新的工具用于推進(jìn)從原型到產(chǎn)品的轉(zhuǎn)變，幫助追蹤與分析產(chǎn)品有關(guān)的背景和元數(shù)據(jù)。

機(jī)器學(xué)習(xí)在產(chǎn)品中的應(yīng)用還處于早期階段，最佳實(shí)踐才剛剛開始出現(xiàn)。隨著高級(jí)分析模型的普及，有幾點(diǎn)需要考慮，包括：

部署環(huán)境：你可能需要與已有的日志或A/B測(cè)試基礎(chǔ)設(shè)施進(jìn)行整合。除了把穩(wěn)定、高性能的模型部署到服務(wù)器以外，部署環(huán)境還越來越多地包括，如何以及何時(shí)把模型部署到邊緣側(cè)(移動(dòng)設(shè)備是常見的例子)。把模型部署到邊緣設(shè)備的新工具和策略已經(jīng)出現(xiàn)。

規(guī)模，延遲，新鮮度：需要用多少數(shù)據(jù)來訓(xùn)練模型 模型推導(dǎo)的響應(yīng)時(shí)間應(yīng)該是多少 重新訓(xùn)練模型和更新數(shù)據(jù)集的頻率應(yīng)該是多少 后者說明你擁有可重復(fù)的數(shù)據(jù)管道。

偏差：如果你的訓(xùn)練數(shù)據(jù)不具有代表性，那么你將得到不理想(甚至不公正)的結(jié)果。在某些情況下，你也許可以利用傾向得分或其他方法，相應(yīng)地調(diào)整數(shù)據(jù)集。

監(jiān)控模型：我認(rèn)為人們低估了監(jiān)控模型的重要性。在這個(gè)方面，學(xué)過統(tǒng)計(jì)學(xué)的人擁有競(jìng)爭(zhēng)優(yōu)勢(shì)。想知道模型何時(shí)退化以及退化了多少，這可能很棘手。概念漂移也許是一個(gè)因素。就分類器而言，一個(gè)策略是把模型預(yù)測(cè)的類別分布與預(yù)測(cè)類別的觀測(cè)分布進(jìn)行比較。你也可以設(shè)立不同于機(jī)器學(xué)習(xí)模型評(píng)估指標(biāo)的商業(yè)目標(biāo)。比如，一個(gè)推薦系統(tǒng)的任務(wù)可能是幫助發(fā)現(xiàn)“隱藏或長(zhǎng)尾”內(nèi)容。

關(guān)鍵應(yīng)用程序：與普通的消費(fèi)者應(yīng)用程序相比，在關(guān)鍵環(huán)境中部署的模型必須更加穩(wěn)定。另外，這類環(huán)境中的機(jī)器學(xué)習(xí)應(yīng)用程序必須能夠數(shù)月“連續(xù)”運(yùn)行(不會(huì)發(fā)生內(nèi)存泄漏等故障)。

隱私和安全：通常來說，如果你能讓用戶和企業(yè)相信他們的數(shù)據(jù)是安全的，那么他們可能更愿意共享數(shù)據(jù)。如上文所述，用額外特征進(jìn)行擴(kuò)充的數(shù)據(jù)往往會(huì)帶來更好的結(jié)果。對(duì)于在歐盟經(jīng)商的企業(yè)而言，一個(gè)迫在眉睫的問題是，《一般數(shù)據(jù)保護(hù)條例》(GDPR)將于2018年5月生效。在其他領(lǐng)域，對(duì)抗性機(jī)器學(xué)習(xí)和安全性機(jī)器學(xué)習(xí)(包括能夠處理加密數(shù)據(jù))的實(shí)踐研究開始出現(xiàn)。

模型開發(fā)

媒體對(duì)模型和算法開發(fā)的報(bào)道越來越多，但如果你同數(shù)據(jù)科學(xué)家交談，他們中的大多數(shù)人都會(huì)告訴你，訓(xùn)練數(shù)據(jù)的匱乏以及數(shù)據(jù)科學(xué)的產(chǎn)品化是更加緊迫的問題。通常來說，市面上已有足夠多的簡(jiǎn)單明了的用例，讓你可以開發(fā)你喜歡的(基本或高級(jí)的)算法，并在以后進(jìn)行調(diào)整或替換。

由于工具使算法的應(yīng)用變得容易，因此，先回想一下如何評(píng)估機(jī)器學(xué)習(xí)模型的結(jié)果，這很有必要。盡管如此，不要忽視了你的業(yè)務(wù)指標(biāo)和目標(biāo)，因?yàn)樗鼈兾幢嘏c調(diào)試得最好或表現(xiàn)得最好的模型完全相符。關(guān)注與公正和透明有關(guān)的事情進(jìn)展，研究人員和企業(yè)正開始檢查、解決這方面的問題。對(duì)隱私的擔(dān)憂，加之設(shè)備的激增，催生了不依賴于集中式數(shù)據(jù)集的技術(shù)。

深度學(xué)習(xí)正逐漸變成數(shù)據(jù)科學(xué)家必須了解的算法。深度學(xué)習(xí)最初用于計(jì)算機(jī)視覺和語音識(shí)別，現(xiàn)在開始涉及數(shù)據(jù)科學(xué)家能想到的各種數(shù)據(jù)類型和問題。其中的挑戰(zhàn)包括，選擇適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)(結(jié)構(gòu)工程是新的特征工程)，超參數(shù)調(diào)整，以及描述問題和轉(zhuǎn)換數(shù)據(jù)以適合深度學(xué)習(xí)。(巧合的是，今年我見過的最有趣的大型數(shù)據(jù)產(chǎn)品之一，并不是基于深度學(xué)習(xí)。)

很多時(shí)候，用戶更喜歡可解釋的模型(某些情況下，黑盒模型不被人們所接受)?？紤]到基本機(jī)制易于理解，可解釋的模型也更容易改進(jìn)。隨著深度學(xué)習(xí)的興起，企業(yè)開始使用那些能解釋模型預(yù)測(cè)原理的工具，以及能解釋模型從何而來(通過追蹤學(xué)習(xí)算法和訓(xùn)練數(shù)據(jù))的工具。

工具

我不想列出一個(gè)工具清單，因?yàn)榭闪信e的工具實(shí)在太多了。幫助我們攝取、整合、處理、準(zhǔn)備和存儲(chǔ)數(shù)據(jù)以及部署模型的工具都非常重要。以下是對(duì)機(jī)器學(xué)習(xí)工具的幾點(diǎn)看法：

Python和R是最流行的機(jī)器學(xué)習(xí)編程語言。對(duì)于那些想使用深度學(xué)習(xí)技術(shù)的人來說，Keras是最受歡迎的入門級(jí)語言。

雖然筆記本電腦似乎是不錯(cuò)的模型開發(fā)工具，但集成開發(fā)環(huán)境(IDE)在R用戶中深受歡迎。

通用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的庫有很多，其中一些更善于推進(jìn)從原型到產(chǎn)品的轉(zhuǎn)變。

推進(jìn)從單機(jī)到集群的擴(kuò)展是重要的考慮事項(xiàng)。在這方面，Apache Spark是使用廣泛的執(zhí)行框架。經(jīng)過一系列的數(shù)據(jù)整理后，你的數(shù)據(jù)集往往適合部署到穩(wěn)定的單一服務(wù)器上。

供應(yīng)商開始支持協(xié)作和版本控制。

最后，你可能需要數(shù)據(jù)科學(xué)工具來無縫整合現(xiàn)有的生態(tài)系統(tǒng)和數(shù)據(jù)平臺(tái)。

企業(yè)如果想評(píng)估哪些問題、哪些用例適合于運(yùn)用機(jī)器學(xué)習(xí)，眼下就是一個(gè)很好的時(shí)機(jī)。我總結(jié)了一些近期的趨勢(shì)和尚未解決的瓶頸，你從中得出的主要結(jié)論應(yīng)該是：現(xiàn)在可以開始使用機(jī)器學(xué)習(xí)了。先從已經(jīng)擁有一部分?jǐn)?shù)據(jù)的問題入手，然后建立出色的模型。