
作者 | Christopher Dossman
編譯 | ronghuaiyang
在機器學(xué)習(xí)中,有許多方法來構(gòu)建產(chǎn)品或解決方案,每種方法都假設(shè)不同的東西。很多時候,如何識別哪些假設(shè)是合理的并不明顯。剛接觸機器學(xué)習(xí)的人會犯錯誤,事后想想,這些錯誤往往會讓人覺得愚蠢。我列了一個清單,上面列出了機器學(xué)習(xí)工程師新手最常犯的錯誤。希望你能從這些常見的錯誤中吸取教訓(xùn),創(chuàng)建更健壯的解決方案,從而帶來真正的價值。
默認的損失函數(shù)
均方誤差非常大!這確實是一個令人驚訝的默認設(shè)置,但在實際應(yīng)用中,這種現(xiàn)成的損失函數(shù)很少適合于你試圖解決的業(yè)務(wù)問題。
以欺詐檢測為例。為了與商業(yè)目標保持一致,你真正想要的是按因欺詐而損失的金額比例來對假陰性樣本進行懲罰。使用均方誤差可能會得到不錯的結(jié)果,但永遠不會得到最好的結(jié)果。
要點:始終建立一個自定義的損失函數(shù),密切配合你的解決方案目標。
對所有問題使用一種算法/方法
許多人完成他們的第一個教程,并立即開始使用他們在每個用例中所學(xué)到的相同算法。它很熟悉,他們認為它和其他算法一樣有效。這是一個糟糕的假設(shè),將導(dǎo)致糟糕的結(jié)果。
讓你的數(shù)據(jù)為你選擇模型。一旦你預(yù)處理了你的數(shù)據(jù),把它輸入到許多不同的模型中,看看結(jié)果是什么。你將對什么模型工作得最好和什么模型工作得不太好有一個很好的概念。
要點:如果你發(fā)現(xiàn)自己一次又一次地使用相同的算法,這可能意味著你沒有得到最好的結(jié)果。
忽略離群點
離群點值可能很重要,也可能完全被忽略,這取決于上下文。以污染預(yù)測為例??諝馕廴究赡軙霈F(xiàn)大的峰值,觀察它們并了解其原因是一個好主意。在某些類型的傳感器錯誤導(dǎo)致的異常值的情況下,忽略它們并從數(shù)據(jù)中刪除它們是安全的。
從模型的角度來看,有些模型比其他模型對異常值更敏感。以Adaboost為例,它將這些異常值視為“困難”案例,并對異常值施加極大的權(quán)重,而決策樹可能只是將每個異常值作為一個錯誤分類。
要點:在開始工作之前,一定要仔細查看數(shù)據(jù),確定是否應(yīng)該忽略或更仔細地查看離群值。
沒有適當?shù)奶幚碇芷?a href='/map/tezheng/' style='color:#000;font-size:inherit;'>特征
一天中的幾個小時,一周中的幾天,一年中的幾個月,以及風(fēng)向都是周期性的。許多新的機器學(xué)習(xí)工程師認為,不能將這些特征轉(zhuǎn)換成一種表示形式,這種表示形式可以保存諸如小時23和小時0之類的信息,它們彼此之間很近,距離也不遠。
按照小時的例子,處理這個問題的最好方法是計算sin和cos分量,這樣就可以用(x,y)的圓坐標來表示循環(huán)特征。在這個表示小時中,23和0在數(shù)字上是相鄰的,就像它們應(yīng)該的那樣。
要點:如果你有循環(huán)特征,而你沒有轉(zhuǎn)換它們,你就是在給你的模型垃圾數(shù)據(jù)。
做L1/L2正則化但是沒有標準化
L1和L2正則化對大系數(shù)不利,是正則化線性回歸或邏輯回歸的常用方法,然而,許多機器學(xué)習(xí)工程師并沒有意識到在應(yīng)用正則化之前對特征進行標準化的重要性。
假設(shè)你有一個以事務(wù)為特征的線性回歸模型。標準化所有的特征,并將它們放在平等的基礎(chǔ)上,這樣正則化在你的所有特征上都是一樣的。不要用美分表示某些特征,而用美元表示其他特征。
要點:正則化很好,但是如果你沒有標準化特征,它會讓你頭疼
線性回歸通常為每個系數(shù)返回p值。這些系數(shù)很多時候會使機器學(xué)習(xí)新手認為對于線性模型來說,系數(shù)的值越大,特征越重要。因為變量的尺度改變了系數(shù)的絕對值,所以這并是不正確的。如果特征是共線的,系數(shù)可以從一個特征轉(zhuǎn)移到另一個特征。數(shù)據(jù)集的特征越多,特征越有可能是共線性的,對特征重要性的簡單解釋就越不可靠。
要點:理解什么特征對結(jié)果最重要是重要的,但不要假設(shè)你可以查看系數(shù)來得到,系數(shù)通常不會告訴你事情的全貌。
做幾個項目,得到好的結(jié)果,感覺就像贏了一百萬美元。你努力工作,你有結(jié)果證明你做得很好,但就像其他任何行業(yè)一樣,魔鬼是在細節(jié)中,甚至花哨的情節(jié)可以隱藏偏見和錯誤。這個列表并不是面面俱到的,只是讓讀者思考一下你的解決方案中可能隱藏的所有小問題。為了獲得好的結(jié)果,遵循你的過程是很重要的,并且要反復(fù)檢查你沒有犯一些常見的錯誤。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03