如何實(shí)現(xiàn)數(shù)據(jù)分析的工業(yè)化？

為了更好地利用大數(shù)據(jù)的體量、速度和多樣性，讓大數(shù)據(jù)為自己服務(wù)，企業(yè)需要流程、結(jié)構(gòu)和透明度，而工業(yè)化提供了這三樣?xùn)|西。如果你真的想從數(shù)據(jù)中提取價(jià)值，并使你的公司像一臺(tái)潤(rùn)滑效果良好的機(jī)器那樣順暢運(yùn)轉(zhuǎn)，你必須具備規(guī)?；哪芰?，但規(guī)?；哪芰κ谴髷?shù)據(jù)最大的難題之一。

只要那些流程的設(shè)計(jì)和實(shí)施做到了著眼全局而非各自為政，當(dāng)分析得到了帶動(dòng)和長(zhǎng)期持續(xù)下去的保證時(shí)，所謂的“工業(yè)化”便已成形。而這就是所謂的分析運(yùn)維（Analytics Ops），在數(shù)據(jù)科學(xué)領(lǐng)域又被稱作為開發(fā)運(yùn)維（Dev Ops）。

原文:Theindustrialization of analytics

原文翻譯：

顧名思義， 工業(yè)化意味著自動(dòng)化 ，能夠?qū)崿F(xiàn)事半功倍的效果。以前，農(nóng)民用牛犁一塊地需要花費(fèi)幾天時(shí)間，但現(xiàn)在用拖拉機(jī)只需要幾個(gè)小時(shí)。同樣，現(xiàn)在企業(yè)可以也用先進(jìn)的算法“耕耘”大片的“數(shù)據(jù)田地”。把見(jiàn)解作為可交付產(chǎn)品的工廠也許是對(duì)此更恰當(dāng)?shù)谋扔鳌＠?，設(shè)想有一條流水線，使你可以進(jìn)行數(shù)據(jù)的收集、整理、分類，準(zhǔn)備好供建模、分析和產(chǎn)生見(jiàn)解所用。這就是我們正在邁進(jìn)的方向嗎？是的。這是必要的嗎？沒(méi)錯(cuò)。

原因在于，為了更好地利用大數(shù)據(jù)的體量、速度和多樣性，讓大數(shù)據(jù)為自己服務(wù)，企業(yè)需要流程、結(jié)構(gòu)和透明度，而工業(yè)化提供了這三樣?xùn)|西。如果你真的想從數(shù)據(jù)中提取價(jià)值，并使你的公司像一臺(tái)潤(rùn)滑效果良好的機(jī)器那樣順暢運(yùn)轉(zhuǎn)，你必須具備規(guī)模化的能力，但規(guī)?；哪芰κ谴髷?shù)據(jù)最大的難題之一。工業(yè)化是解決之道。工業(yè)化的基本定義就是堪稱革命性的規(guī)?；芰Γ?guī)模化幾乎總是意味著使向來(lái)手動(dòng)完成的工作自動(dòng)化。流水線就是明顯的例子。

流水線方法的基礎(chǔ)是建立一套支持?jǐn)?shù)據(jù)分析的流程。這是一種協(xié)作的方法，需要跨職能合作和C級(jí)高管努力推動(dòng)公司上下參與其中。但從數(shù)據(jù)中獲取見(jiàn)解的流程如何實(shí)現(xiàn)自動(dòng)化？

讓我們來(lái)看看制造業(yè)的工業(yè)化，這是流程的最初起源。多年來(lái)，生產(chǎn)經(jīng)理強(qiáng)調(diào)質(zhì)量控制和流程改進(jìn)。如果想使數(shù)據(jù)分析工業(yè)化，就需要對(duì)數(shù)據(jù)分析及受其驅(qū)動(dòng)的經(jīng)營(yíng)活動(dòng)采取同樣的質(zhì)量控制措施。你制定的任何解決方案都應(yīng)該考慮以下幾點(diǎn)：

· 數(shù)據(jù)管理：這里涉及的考慮是，數(shù)據(jù)科學(xué)家在創(chuàng)建分析數(shù)據(jù)集時(shí)，應(yīng)該確保數(shù)據(jù)一脈相承，提供適當(dāng)?shù)闹卫恚苊庀萑氩豢勺R(shí)別資產(chǎn)的數(shù)據(jù)沼澤。應(yīng)同樣對(duì)待的還有文檔、記錄、代碼、數(shù)據(jù)樣本、修改日志，以及確保資產(chǎn)整理妥當(dāng)，可隨時(shí)用于消費(fèi)。

· 開發(fā)：這里指的是將跟可視化和數(shù)據(jù)瀏覽界面一起整合進(jìn)同一工作臺(tái)的建模工具。再有就是知識(shí)管理，要通過(guò)這種方法來(lái)存儲(chǔ)你正在創(chuàng)建的模型的信息。

· 部署：這部分涉及到生產(chǎn)模型的創(chuàng)建，而這些模型將在以后用在經(jīng)營(yíng)活動(dòng)中。對(duì)此需要模型管理，比如維護(hù)版本歷史信息，訓(xùn)練數(shù)據(jù)集以供審核，以及推廣模型的相關(guān)流程。還應(yīng)該著重強(qiáng)調(diào)效率和受控執(zhí)行。數(shù)據(jù)平臺(tái)為分析處理的工作提供了很多選擇，但必須保證模型被部署到另一個(gè)平臺(tái)上時(shí)，業(yè)務(wù)邏輯依然如昔。

· 維護(hù)：操作系統(tǒng)堪稱流程的“書立”。你最初從應(yīng)用系統(tǒng)獲得數(shù)據(jù)，你的分析則是最終交付產(chǎn)品，將被應(yīng)用和操作流程所使用。由于這些流程所固有的操作依賴性，因此應(yīng)該實(shí)行嚴(yán)格的路徑規(guī)定，包括為所有的活動(dòng)創(chuàng)建操作日志，以及在發(fā)生模型偏移時(shí)記錄異常情況。

隨著數(shù)據(jù)和分析工具的激增，企業(yè)將繼續(xù)尋求龐大數(shù)據(jù)集的力量，因?yàn)橛袛?shù)據(jù)就有見(jiàn)解，有見(jiàn)解就有價(jià)值。但想要做到這一點(diǎn)，就必須把工業(yè)化的準(zhǔn)則融入到數(shù)據(jù)分析中。

只要那些流程的設(shè)計(jì)和實(shí)施做到了著眼全局而非各自為政，當(dāng)分析得到了帶動(dòng)和長(zhǎng)期持續(xù)下去的保證時(shí)，所謂的“工業(yè)化”便已成形。而這就是所謂的分析運(yùn)維（Analytics Ops），在數(shù)據(jù)科學(xué)領(lǐng)域又被稱作為開發(fā)運(yùn)維（Dev Ops）。憑借數(shù)據(jù)分析的工業(yè)化改造，只要處理速度達(dá)到了一定水平，企業(yè)就能降低成本，加快創(chuàng)新，為市場(chǎng)帶來(lái)新的能力。