數(shù)據(jù)科學家價值大跌：自動化工具快將取而代之

請緊記：「IT人的目標是要讓自己沒有工作。我們的工作就是要讓程式把我們現(xiàn)在的工作做得更快，更好，更可靠，最終結果是程式取代了人手、IT人作用已沒有了?！笽T人如此，數(shù)據(jù)科學家亦如此！

    隨著大數(shù)據(jù)興起，很多公司都需要懂得統(tǒng)計學的IT人，亦即是大家近期聽說的數(shù)據(jù)科學家數(shù)據(jù)科學家。此職位目前是人少需需求多（當然并非指香港，而是以亞太區(qū)作基準）。關于數(shù)據(jù)科學家的職業(yè)發(fā)展有很多討論。最近LouisDorard在GigaOM上發(fā)表了一篇關于數(shù)據(jù)科學家職業(yè)發(fā)展的文章。觀點是隨著數(shù)據(jù)科學的發(fā)展，目前數(shù)據(jù)科學家的許多工作將被自動化的工具取代。而數(shù)據(jù)科學家這個職業(yè)也將不再存在。文章編譯如下：

    數(shù)據(jù)科學家工作的一部分就是把他們的工作自動化。例如說通過一些預測性的API工具來實施工作自動化。然而，這些API已經在某些范疇開始取代數(shù)據(jù)科學家的工作了。這對這個職業(yè)來說可不是什么好事。

    我們現(xiàn)在處于大數(shù)據(jù)的時代。利用電腦學習來進行預測性分析的需求越來越強勁。正如InsightsOne的CEOWaqarHasan指出的一樣「預測分析是大數(shù)據(jù)時代的殺手級應用」。我們也開始看到有一些公司開始針對大眾提供電腦學習和預測分析的服務。例如Apigee收購了InsightsOne后就推出了預測性分析的API平臺。

    我在大學上電腦科學的時候學到的第一課就是「我們工作的終極目標就是要讓自己沒有工作。我們的工作就是要讓程序把我們現(xiàn)在的工作做得更快，更好，更可靠。數(shù)據(jù)科學也是如此?！?/span>

技術將取代數(shù)據(jù)科學家

    數(shù)據(jù)科學家的絕大部分工作花了在建立PredictionModel：選取與預測相關的變量。選擇合適的Model，優(yōu)化參數(shù)等等。目前，這類的工作已經能夠有一些自動化的解決方案了。如EmeraldLogic的FACET以及Google和ErastzLabs提供的API。這些API把復雜的電腦Model從數(shù)據(jù)中抽出來。用戶可以專注于數(shù)據(jù)的采集，而把數(shù)據(jù)送給這些API，就能夠產生一個PredictionModel了。

    這些新的工具意味著，在新的模式下，不需要數(shù)據(jù)科學家的參與了，公司里的每個人都能夠參與數(shù)據(jù)科學的項目。高層將確定戰(zhàn)略方向，中層經理們確定分析預測的具體目標，軟件工程人員可以專注于項目實施。這里需要每個人都懂得一些電腦知識。不過如果不去深究算法和理論，只關注基本概念和一些具體的應用，Machinelearning即使對于非技術人員來說也能夠很快了解。

    事實上，如果由具體應用范疇的專家來負責Machinelearning項目的話，往往能夠更好地將應用范疇的知識結合到Machinelearning項目里去，例如能夠更好的選出那些合適的特征，從而能夠做出更好的PredictionModel。

    Machinelearning是人工智能的技術。通過數(shù)據(jù)來建立更好的智能。那么我們在人工智能范疇中還需要手動去進行運算的選擇嗎？我們當然有智能的自動方式。在人工智能范疇有一個趨勢，就是人工智能算法(metaAIAlgorithm)，就是給予一些問題，能夠自動找到合適的人工智能運算方法。

    利用這種方式來進行Machinelearning的塬理就是利用如概率來進行設定以及對特征設定不同權限等等。今天我們的計算能力已經足以讓我們進行這樣大量的測試。暴力測試可以采用常規(guī)的交叉驗證，或者采用類似于FACET那樣的漸進式技術。

    測試可以從對數(shù)據(jù)的最簡單分析開始，如果我們發(fā)現(xiàn)數(shù)據(jù)在分類時有明顯的不平衡性時，我們可以試著選擇Anomalydetection的算法。

數(shù)據(jù)科學家將來做什么呢？

    有人會說，目前不能自動化的范疇太多了。的確，把所有Machinelearning范疇都自動化是很困難的。不過，目前API在預測方面已經能夠比擬那些傳統(tǒng)的分析技術了。這方面API創(chuàng)造的價值巨大。

    由于這些新的工具出現(xiàn)，數(shù)據(jù)科學家的角色也在發(fā)生變化?，F(xiàn)在要成為數(shù)據(jù)科學家可能比以前更容易了。由于預測性API的出現(xiàn)，由數(shù)據(jù)科學家來做的工作變得更加容易了。這些工作可以由數(shù)據(jù)庫工程人員或者軟件工程人員來進行。這也就是有些人說的數(shù)據(jù)科學不科學。而我要說的是較為好聽的說話：「數(shù)據(jù)科學正在不斷進步?！?/span>

    在預測API范疇中，數(shù)據(jù)科學家依然在團隊里扮演重要角色。他幫助團隊成員使用這些API。更多是作為一個主管的角色來指導大家使用，而不像以前那樣需要親自動手。

    更重要的是，數(shù)據(jù)科學家還需要不斷開發(fā)Machine learning的自動化工具。除了目前的監(jiān)督學習(Supervised Learning的API外，也開始出現(xiàn)了強化學習(Reinforcement Learning)的API。此外，還需要提供一些工具能夠使得應用范疇專家把他們的知識融入到算法中。

請緊記：「IT人的目標是要讓自己沒有工作。我們的工作就是要讓程式把我們現(xiàn)在的工作做得更快，更好，更可靠，最終結果是程式取代了人手、IT人作用已沒有了?！笽T人如此，數(shù)據(jù)科學家亦如此！

    隨著大數(shù)據(jù)興起，很多公司都需要懂得統(tǒng)計學的IT人，亦即是大家近期聽說的數(shù)據(jù)科學家數(shù)據(jù)科學家。此職位目前是人少需需求多（當然并非指香港，而是以亞太區(qū)作基準）。關于數(shù)據(jù)科學家的職業(yè)發(fā)展有很多討論。最近LouisDorard在GigaOM上發(fā)表了一篇關于數(shù)據(jù)科學家職業(yè)發(fā)展的文章。觀點是隨著數(shù)據(jù)科學的發(fā)展，目前數(shù)據(jù)科學家的許多工作將被自動化的工具取代。而數(shù)據(jù)科學家這個職業(yè)也將不再存在。文章編譯如下：

    數(shù)據(jù)科學家工作的一部分就是把他們的工作自動化。例如說通過一些預測性的API工具來實施工作自動化。然而，這些API已經在某些范疇開始取代數(shù)據(jù)科學家的工作了。這對這個職業(yè)來說可不是什么好事。

    我們現(xiàn)在處于大數(shù)據(jù)的時代。利用電腦學習來進行預測性分析的需求越來越強勁。正如InsightsOne的CEOWaqarHasan指出的一樣「預測分析是大數(shù)據(jù)時代的殺手級應用」。我們也開始看到有一些公司開始針對大眾提供電腦學習和預測分析的服務。例如Apigee收購了InsightsOne后就推出了預測性分析的API平臺。

    我在大學上電腦科學的時候學到的第一課就是「我們工作的終極目標就是要讓自己沒有工作。我們的工作就是要讓程序把我們現(xiàn)在的工作做得更快，更好，更可靠。數(shù)據(jù)科學也是如此?！?/span>

技術將取代數(shù)據(jù)科學家

    數(shù)據(jù)科學家的絕大部分工作花了在建立PredictionModel：選取與預測相關的變量。選擇合適的Model，優(yōu)化參數(shù)等等。目前，這類的工作已經能夠有一些自動化的解決方案了。如EmeraldLogic的FACET以及Google和ErastzLabs提供的API。這些API把復雜的電腦Model從數(shù)據(jù)中抽出來。用戶可以專注于數(shù)據(jù)的采集，而把數(shù)據(jù)送給這些API，就能夠產生一個PredictionModel了。

    這些新的工具意味著，在新的模式下，不需要數(shù)據(jù)科學家的參與了，公司里的每個人都能夠參與數(shù)據(jù)科學的項目。高層將確定戰(zhàn)略方向，中層經理們確定分析預測的具體目標，軟件工程人員可以專注于項目實施。這里需要每個人都懂得一些電腦知識。不過如果不去深究算法和理論，只關注基本概念和一些具體的應用，Machinelearning即使對于非技術人員來說也能夠很快了解。

    事實上，如果由具體應用范疇的專家來負責Machinelearning項目的話，往往能夠更好地將應用范疇的知識結合到Machinelearning項目里去，例如能夠更好的選出那些合適的特征，從而能夠做出更好的PredictionModel。

    Machinelearning是人工智能的技術。通過數(shù)據(jù)來建立更好的智能。那么我們在人工智能范疇中還需要手動去進行運算的選擇嗎？我們當然有智能的自動方式。在人工智能范疇有一個趨勢，就是人工智能算法(metaAIAlgorithm)，就是給予一些問題，能夠自動找到合適的人工智能運算方法。

    利用這種方式來進行Machinelearning的塬理就是利用如概率來進行設定以及對特征設定不同權限等等。今天我們的計算能力已經足以讓我們進行這樣大量的測試。暴力測試可以采用常規(guī)的交叉驗證，或者采用類似于FACET那樣的漸進式技術。

    測試可以從對數(shù)據(jù)的最簡單分析開始，如果我們發(fā)現(xiàn)數(shù)據(jù)在分類時有明顯的不平衡性時，我們可以試著選擇Anomalydetection的算法。

數(shù)據(jù)科學家將來做什么呢？

    有人會說，目前不能自動化的范疇太多了。的確，把所有Machinelearning范疇都自動化是很困難的。不過，目前API在預測方面已經能夠比擬那些傳統(tǒng)的分析技術了。這方面API創(chuàng)造的價值巨大。

    由于這些新的工具出現(xiàn)，數(shù)據(jù)科學家的角色也在發(fā)生變化。現(xiàn)在要成為數(shù)據(jù)科學家可能比以前更容易了。由于預測性API的出現(xiàn)，由數(shù)據(jù)科學家來做的工作變得更加容易了。這些工作可以由數(shù)據(jù)庫工程人員或者軟件工程人員來進行。這也就是有些人說的數(shù)據(jù)科學不科學。而我要說的是較為好聽的說話：「數(shù)據(jù)科學正在不斷進步?！?/span>

    在預測API范疇中，數(shù)據(jù)科學家依然在團隊里扮演重要角色。他幫助團隊成員使用這些API。更多是作為一個主管的角色來指導大家使用，而不像以前那樣需要親自動手。

    更重要的是，數(shù)據(jù)科學家還需要不斷開發(fā)Machine learning的自動化工具。除了目前的監(jiān)督學習(Supervised Learning的API外，也開始出現(xiàn)了強化學習(Reinforcement Learning)的API。此外，還需要提供一些工具能夠使得應用范疇專家把他們的知識融入到算法中。