哪些情況會讓數(shù)據(jù)科學家抓狂

哪些情況會讓數(shù)據(jù)科學家抓狂

如今，人們對數(shù)據(jù)科學的熱情高漲。只要在產品介紹中加入"由人工智能驅動"，就能極大地促進產品的銷量。

但是，問題也接踵而至。

數(shù)據(jù)科學在營銷時常常會夸大其詞。從而，客戶也大大提高了期望值。但最終，數(shù)據(jù)科學需要盡力去實現(xiàn)客戶的高期望。

在本文中，我們將討論機器學習項目中八個讓數(shù)據(jù)科學家抓狂的常見問題，以及為什么這些問題讓數(shù)據(jù)科學家苦惱不已。

如果你也處于數(shù)據(jù)科學領域，或者考慮進入該領域，那么明確這些問題能幫助你更好做出判斷并進行處理。

1. 我們想要一個AI 模型來解決問題

行業(yè)中80％的問題都可以通過簡單的探索性數(shù)據(jù)分析解決。如果在解決某些問題時用機器學習都有些大材小用，那么根本不用再考慮用AI了。

是的，高級分析很高大上。企業(yè)都喜歡通過對這方面的投資在行業(yè)中處于領先地位。哪家公司不想宣傳一下 AI 項目呢？但需要對客戶進行基本的說明，采用適當?shù)男袠I(yè)用例。

“到目前為止，人工智能的最大危險在于人們過早的認為他們已經(jīng)充分理解它了?！?nbsp;

—— Eliezer Yudkowsky

2. 通過一些數(shù)據(jù)得出變革性的分析見解

通?？蛻粽J為，他們只需要提交數(shù)據(jù)就可以了。有些客戶甚至不會提供相關問題的定義，具體可以看到第四點。他們要求數(shù)據(jù)分析師獲取數(shù)據(jù)，并得出變革性的商業(yè)見解，從而能夠在一夜之間改變企業(yè)的發(fā)展方向。

不幸的是，數(shù)據(jù)科學家無法單獨得出可操作的商業(yè)建議。這需要與客戶進行持續(xù)有效的交流，從而全面了解企業(yè)的情況。在整個項目期間，定期與業(yè)務人員進行規(guī)劃是很重要的。

“如果你不知道如何提出正確的問題，那么你將一無所獲。”  

—— W. Edward Deming

3. 構建模型，并跳過不必要的分析來節(jié)省時間

許多數(shù)據(jù)分析師忽略了數(shù)據(jù)整理和探索性分析的重要性。

數(shù)據(jù)分析是機器學習和其他更高層次分析的必要步驟。如果不了解數(shù)據(jù)，不去發(fā)現(xiàn)異常值或潛在模式，那么模型將一無是處。因此必須為分析預留時間，并與客戶分享有價值的發(fā)現(xiàn)。

“煉金術士在尋找黃金時會發(fā)現(xiàn)其他許多更有價值的東西。”

—— Arthur Schopenhauer

4. 根據(jù)上周的數(shù)據(jù)，你能預測未來6個月的數(shù)據(jù)嗎？

這是數(shù)據(jù)科學家們最討厭的情況?？蛻粼陔娮颖砀裰刑峁┝藥仔袛?shù)據(jù)，并希望 AI 能夠預測未來。有時更夸張，在沒有任何數(shù)據(jù)時，客戶想知道機器學習是否能填補這些數(shù)據(jù)的空白。

數(shù)據(jù)質量和數(shù)量至關重要，“垃圾進，垃圾出”適用于數(shù)據(jù)分析。有用的統(tǒng)計技術有助于處理數(shù)據(jù)問題，并能在你提供的少量數(shù)據(jù)中得出更多的結論。例如，估算缺失點，生成數(shù)據(jù)或使用較小的簡單模型。但這需要降低客戶對結果的預期。

分析技術與數(shù)據(jù)量的關系，來源：吳恩達

5. 你能在兩周內完成建模項目嗎？

許多項目的規(guī)定時間十分緊迫。這種高強度的項目安排常常會給模型工程階段帶來影響。隨著模型API和GPU計算的出現(xiàn)，客戶想知道到底時什么減慢了緩數(shù)據(jù)科學家的速度。

盡管自動化機器學習取得了進步，但在建模過程中手動操作也是必不可少的。數(shù)據(jù)科學家必須在痛苦的迭代中檢查統(tǒng)計結果，比較模型和檢查解釋。這些是不能自動化的，起碼現(xiàn)在還不能。這方面最好通過案例跟客戶說明。

6. 你能替換輸出變量并刷新嗎？

在數(shù)據(jù)科學家解決了商業(yè)行為的建模問題之后，新的請求即將出現(xiàn)，也就是最后的小變化。通常是替換輸出變量，然后重新運行模型?？蛻粢庾R不到這些變化不僅會改變目標，而且會改變整個模型。

雖然機器學習是高度迭代的，但關鍵挑戰(zhàn)是為給定的輸出變量選擇正確的影響因素，并映射它們間的關系?？蛻舯仨毩私膺@背后的基本工作原理，以及明確他們可以調控的范圍。

7. 模型的準確度可以達到100％嗎？

人們經(jīng)常會對錯誤率產生誤解，而且容易盲目追求測試等級。有些客戶甚至希望準確度達到100％。當準確度超過其他因素成為唯一的關注點時，這就很令人擔憂了。建立一個過于復雜卻無法實現(xiàn)的高準確度模型有什么意義呢？

以高準確度贏得Netflix獎的模型從未正式上線，因為高度的復雜性會帶來巨大的工程成本，反而準確度較低的模型則會被采用。因此在考慮準確度時，要權衡簡單性、穩(wěn)定性和業(yè)務可解釋性。

模型工程：權衡各方面的因素

8. 訓練好的模型能一直不出問題嗎？

在艱辛地完成建模和測試之后，客戶想知道機器是否已經(jīng)掌握了所有內容。常見的問題是模型是否能一直不出問題，并且適應未來業(yè)務的變化？

不幸的是，機器不能終身學習。需要進行不斷地訓練，通常需要每隔幾周或幾個月進行復習和訓練，就像寒窗苦讀的學子一樣。如今的分析行業(yè)在迅速發(fā)展，瞬息萬變，因此模型也需要不斷進行維護和更新。

結語

在機器學習項目中，以上八大誤區(qū)會讓數(shù)據(jù)科學家頭疼不已，在機器學習建模生命周期的六個階段也會出現(xiàn)類似問題，如下圖所示。

機器學習項目生命周期

導致上述誤區(qū)的原因在于缺乏對項目的了解，以及沒有正確把握主次。了解背后這些原因的數(shù)據(jù)科學家需要對客戶進行更好的說明，從而雙方能夠更好得解決難題，而不是一味的妥協(xié)。