
支持向量機實例講解
簡介
掌握機器學習算法不再是天方夜譚的事情。大多數(shù)初學者都是從回歸模型學起。雖然回歸模型簡單易學易上手,但是它能解決我們的需求嗎?當然不行!因為除了回歸模型外我們還可以構建許多模型。
我們可以把機器學習算法看成包含劍、鋒刃、弓箭和匕首等武器的兵器庫。你擁有各式各樣的工具,但是你應該在恰當?shù)臅r間點使用它們。比如,我們可以把回歸模型看做“劍”,它可以非常高效地處理切片數(shù)據(jù),但是它卻無法應對高度復雜的數(shù)據(jù)。相反的是,“支持向量機模型”就像一把尖刀,它可以更好地對小數(shù)據(jù)集進行建模分析。
到目前為止,我希望你已經掌握了隨機森林、樸素貝葉斯算法和集成建模方法。不然的話,我建議你應該花一些時間來學習這些方法。本文中,我將會介紹另外一個重要的機器學習算法——支持向量機模型。
目錄
什么是支持向量機模型?
支持向量機(SVM)是一種有監(jiān)督學習的算法,它可以用來處理分類和回歸的問題。然而,實際應用中,SVM 主要用來處理分類問題。在這個算法中,首先我們將所有點畫在一個 n 維空間中(其中 n 代表特征個數(shù))。然后我們通過尋找較好區(qū)分兩類樣本的超平面來對數(shù)據(jù)進行分類處理(如下圖所示)。
支持向量是觀測值的坐標,支持向量機是隔離兩個類別的最佳邊界(超平面)。
你可以在這里看到關于支持向量的定義和一些實例。
支持向量機的運行原理
首先,我們已經熟悉了如何利用超平面來區(qū)分兩個類別的數(shù)據(jù)。如今急需解決的問題是:“如何找出最佳的超平面?”不要擔心,它沒有你所想的那么困難!
讓我們來看幾個例子:
場景一:首先,我們有三個超平面(A、B 和 C)。現(xiàn)在我們需要的是找出區(qū)分星星和圓圈的最佳超平面。
你需要記住一個識別最佳超平面的經驗法則:“選擇能更好區(qū)分兩個類別的超平面?!痹谶@個例子中,超平面“B”是最佳分割平面。
場景二:首先我們有三個超平面(A、B 和 C),它們都很好地區(qū)分兩個類別的數(shù)據(jù)。那么我們要如何選出最佳的超平面呢?
在這里,我們可以通過最大化超平面和其最近的各個類別中數(shù)據(jù)點的距離來尋找最佳超平面。這個距離我們稱之為邊際距離。
從上圖中你可以看到超平面 C 的邊際距離最大。因此,我們稱 C 為最佳超平面。選擇具有最大邊際距離的超平面的做法是穩(wěn)健的。如果我們選擇其他超平面,將存在較高的錯分率。
場景三:利用之前章節(jié)提到的規(guī)則來識別最佳超平面
或許你們會選擇具有較大邊際距離的超平面 B。但是你們錯了,SVM 選擇超平面時更看重分類的準確度。在上圖中,超平面 B 存在一個錯分點而超平面 A 的分類則全部正確。因此,最佳超平面是 A。
場景四:由于存在異常值,我們無法通過一條直線將這兩類數(shù)據(jù)完全區(qū)分開來。
正如我之前提到的,另一端的星星可以被視為異常值。SVM 可以忽略異常值并尋找具有最大邊際距離的超平面。因此,我們可以說 SVM 模型在處理異常值時具有魯棒性。
場景五:在這個場景中,我們無法通過線性超平面區(qū)分這兩類數(shù)據(jù),那么 SVM 是如何對這種數(shù)據(jù)進行分類的呢?
SVM 模型可以非常容易地解決這個問題。通過引入新的變量信息,我們可以很容易地搞定這個問題。比如我們引入新的變量然后我們對 x 和 z 構建散點圖:
從上圖中我們可以看出:
原始圖中,紅圈數(shù)據(jù)分布在原點附近,它們的 z 值比較??;而星星數(shù)據(jù)則遠離原點區(qū)域,它們具有較大的 z 值。
在 SVM 模型中,我們可以很容易地找到分割兩類數(shù)據(jù)的線性超平面。但是另外一個急需解決的問題是:我們應該手動增加變量信息從而獲得該線性超平面分割嗎?答案是否定的!SVM 模型有一個工具叫做 kernel trick。該函數(shù)可以將輸入的低維空間信息轉化為高維空間信息。在解決非線性分割問題時,我們經常用到這個函數(shù)。簡單地說,該函數(shù)可以轉換一些極其復雜的數(shù)據(jù),然后根據(jù)自己所定義的標簽或輸出結果尋找區(qū)分數(shù)據(jù)的超平面。
我們可以在原始圖中畫出最佳超平面:
接下來,我們將學習如何將 SVM 模型應用到實際的數(shù)據(jù)科學案例中。
如何利用 Python 實現(xiàn) SVM 模型?
在 Python 中,scikit-learn 是一個被廣泛使用的機器學習算法庫。我們可以通過 scikit-learn 庫來構建 SVM 模型。
如何調整 SVM 模型的參數(shù)?
有效地調節(jié)機器學習算法的參數(shù)可以提高模型的表現(xiàn)力。讓我們來看看 SVM 模型的可用參數(shù)列表:
接下來我將要討論 SVM 模型中一些比較重要的參數(shù):“kernel”,“gamma”和“C”。
kernel:我們之前已經討論過這個問題。Kernel參數(shù)中具有多個可選項:“l(fā)inear”,“rbf”和“poly”等(默認值是“rbf”)。其中 “rbf”和“poly”通常用于擬合非線性超平面。下面是一個例子:我們利用線性核估計-對鳶尾花數(shù)據(jù)進行分類。
例子:線性核估計
例子:rbf 核估計
我們可以通過下面的代碼調用 rbf 核估計,并觀察其擬合結果。
當變量個數(shù)比較大時(大于1000),我建議你最好使用線性核估計,因為在高維空間中數(shù)據(jù)大多是線性可分的。當然你也可以利用 rbf 核估計,不過你必須使用交叉驗證調整參數(shù)從而避免過度擬合。
“gamma”:“rbf”,“poly”和“sigmoid”的核估計系數(shù)。gamma的取值越大,越容易出現(xiàn)過度擬合的問題。
例子:比較不同gamma取值下模型的擬合結果
C:誤差項的懲罰參數(shù)。我們可以通過調節(jié)該參數(shù)達到平衡分割邊界的平滑程度和分類準確率的目的。
我們應該經常關注交叉驗證結果從而有效地利用這些參數(shù)的組合避免過度擬合情況的問題。
SVM 模型的優(yōu)缺點
優(yōu)點:
結語
在本文中,我們詳細地介紹了機器學習算法——支持向量機模型。我介紹了它的工作原理,Python 的實現(xiàn)途徑,使模型更有效參數(shù)調整技巧以及它的優(yōu)缺點。我建議你使用 SVM 模型并通過調整參數(shù)值分析該模型的解釋力。同時我還想了解你們使用 SVM 的經驗,你在建模過程有通過調整參數(shù)來規(guī)避過度擬合問題和減少建模訓練的時間嗎?
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據(jù)中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03