
本系列文章主要介紹機器學習在實踐中的應用,介紹利用 python 的生態(tài)環(huán)境,使用機器學習的算法來解決工程實踐中的問題,而不是介紹算法本身。本系列文章參考了《機器學習Python實踐》,會通過例子一步一步地引導大家使用機器學習來處理和分類與回歸模型相關的問題。每個算法模型都介紹其較為通用且實用的建模過程,力爭使基礎較差的讀者也能無障礙利用python來使用機器學習算法。
1 初識機器學習
1.1 什么是機器學習?
機器學習(Machine Leaming , ML)是一門多領域的交叉學科,涉及概率論、統(tǒng)計學、線性代數(shù)、算法等多門學科。 它專門研究計算機如何模擬和學習人的行為,以獲取新的知識或技能,重新組織已有的知識結(jié)構(gòu)使之不斷完善自身的性能。
機器學習已經(jīng)有了十分廣泛的應用,例如:數(shù)據(jù)挖掘、計算機視覺、自然語言處理、生物特征識別、搜索引擎、醫(yī)學診斷、檢測信用卡欺詐、證券市場分析、 DNA 序列測序、語音和手寫識別、戰(zhàn)略游戲和機器人運用。
機器學習的算法分為兩大類 : 監(jiān)督學習和無監(jiān)督學習 。
監(jiān)督學習即在機器學習過程中提供對錯指示。一般是在數(shù)據(jù)組中包含最終結(jié)果(0 , 1),通過算法讓機器自己減少誤差。這一類學習主要應用于分類和預測(Regression &Classify) 。監(jiān)督學習從給定的訓練數(shù)據(jù)集中學習出一個目標函數(shù),當新的數(shù)據(jù)到來時,可以根據(jù)這個函數(shù)預測結(jié)果。監(jiān)督學習的訓練集要求包括輸入和輸出,也可以說包括特征和目標,訓練集中的目標是由人標注的。常見的監(jiān)督學習算法包括回歸分析和統(tǒng)計分類。非監(jiān)督學習又稱歸納性學習(Clustering),利用 K 方式(KMean)建立中心( Centriole),通過循環(huán)和遞減運算(lteration&Descent)來減小誤差,達到分類的目的 。
機器學習解決的問題:分類,回歸,降維,聚類。其中有些算法適合多種問題,有些只適合解決一種問題,下面列出一些常見的一些機器學習算法。
1.2 學習機器學習的誤區(qū)
在學習機器學習之前,有一些理解和誤區(qū)需要先做好說明,防止大家在學習機器學習的過程中過于鉆牛角尖。對于通過Python來基本實現(xiàn)機器學習算法,有幾個誤區(qū)可能是比較廣泛存在的,應該盡量避免:
1、必須非常熟悉Python的語法和擅長Python的編程。實際上并不需要,Python有scikit-learn模塊等可以直接進行建模的調(diào)用包,基本只需要學會python的各種基礎的知識和應用,熟悉scikit-learn的相關模型用法,以及包括numpy、pandas、matplotlib模塊在內(nèi)的常用的數(shù)據(jù)處理和可視化包,就可以實現(xiàn)各種機器學習算法了。
2、必須非常深入地學習和理解在scikit- learn中使用的機器學習的理論和算法。實際上也不需要,除非你是這一方向的碩士甚至博士學位的學習者。機器學習不同的算法涉及的知識點是非常廣闊的,要做到每一種算法的理論知識的學習都非常深入,是比較難的,實際上簡單的機器學習應用中,只需要了解不同算法的基礎知識就可以使用了。
3、學習知識就行了,不需要做什么項目。恰恰相反,機器學習的應用是需要大量的項目經(jīng)驗積累,才能把機器學習用得更好。
這些方式對一部分人可能會非常有效,但是這會降低掌握機器學習技能的速度和要達到通過機器學習來解決問題的目標。這也會浪費大量時間單獨學習機器學習算法,但卻不知如何利用機器學習來解決現(xiàn)實中遇到的問題。 實際上利用Python來實現(xiàn)機器學習算法的門檻并不高,在基本運用過程中,只需要了解機器學習各種算法的一些基礎知識,一些常用流程和不同算法,數(shù)據(jù)集的適用要求就可以了。
1.3 Python 中的機器學習
本系列文章主要關注監(jiān)督學習中的分類與回歸問題處理的預測模型,這是在工業(yè)中應用非常廣泛的分類,也是scikit-leam擅長的一個領域。與統(tǒng)計學不同,機器學習的預測模型是用來理解數(shù)據(jù)、解決問題的;聚焦于如何創(chuàng)建一個更加精準的模型,而不是用來解釋模型是如何設置的。與大部分機器學習的領域不同的是,預測模型是使用表格格式的數(shù)據(jù)作為模型的輸入的,因此數(shù)據(jù)的采集和整理是很重要的工作。
在接下來的一系列文章中,致力于讓大家能夠?qū)W習在項目中如何將機器學習的任務和Python有機地結(jié)合在一起,以便實現(xiàn)每一個機器學習問題的最佳實踐。通過各種實例來理解學到的預測模型的知識。盡量完善一套較為通用的機器學習建模過程,通過python的一系列方法,力求只是進行簡單的復制粘貼操作就可以啟動一個新的機器學習項目。
我們將通過項目來介紹基于Python的生態(tài)環(huán)境如何完成機器學習的相關工作。一旦明白了如何使用Python平臺來完成機器學習的任務,就可以在不同的項目中重復使用這種方法解決問題。利用機器學習的預測模型來解決問題共有六個基本步驟。
1.4 學習機器學習的原則和技巧
學習機器學習是一段旅程。需要知道自己具備的技能、目前所掌握的知識,以及明確要達到的目標。要實現(xiàn)自己的目標需要付出時間和辛勤的工作 ,但是在目標的實現(xiàn)過程中 ,有很多工具可以幫助你快速達成目標。
1、創(chuàng)建半正式的工作產(chǎn)品。以博客文章、技術(shù)報告和代碼存儲的形式記下學習和發(fā)現(xiàn)的內(nèi)容,快速地為自己和他人提供一系列可以展示的技能、知識及反思。
2、實時學習。不能僅在需要的時候才學習復雜的主題,例如,應該實時學習足夠的概率和線性代數(shù)的知識來幫助理解正在處理的算法。在開始進入機器學習領域之前,不需要花費太多的時間來專門學習統(tǒng)計和數(shù)學方面的知識,而是要在平時的使用和參與過程中不斷地進行實時學習,積累知識。
3、利用現(xiàn)有的技能。如果可以編碼,那么通過實現(xiàn)算法來理解它們,而不是研究數(shù)學理論。使用自己熟悉的編程語言,讓自己專注于正在學習的一件事情上,不要同時學習一種新的語言、工具或類庫,這樣會使學習過程復雜化。 掌握是理想。掌握機器學習需要持續(xù)不斷的學習。也許你永遠不可能實現(xiàn)掌握機器學習的目標,只能持續(xù)不斷地學習和改進所掌握的知識。
下面三個技巧可以有效地幫助你快速提高學習機器學習的能力。
1.5 總結(jié)
這一系列的文章主要是寫給對機器學習感興趣和立志學習機器學習,但只有機器學習基礎知識的甚至沒多少了解人群,主要是介紹關于機器學習實踐的內(nèi)容,而不是關于機器學習的理論知識。 這里只會簡單介紹機器學習的基本原理和算法。在這里假設你已經(jīng)掌握了機器學習的基礎知識,或者有能力自己來完成機器學習的基礎知識的學習。
有一些人可能只是對機器學習的理論知識比較了解,但是沒有多少項目實踐應用,對于機器學習的應用實踐可能不怎么了解;有一些人則可能只是對機器學習有一個大概的了解,不知道能通過什么樣的工具和方法來使用,該如何使用。而在本系列文章中,將會引導讀者如何通過Python實踐機器學習算法。
2 Python機器學習的生態(tài)圈
隨著 Python 生態(tài)圈的發(fā)展,在機器學習領域,Python 已經(jīng)發(fā)展成為機器學習方面最主要的語言。Python 為什么能夠成為機器學習的主流語言?這是因為 Python 不僅可以應用在R&D科研部門,也可以應用在實際的生產(chǎn)當中。本段將主要介紹Python在機器學習方面的生態(tài)圈。
2.1 Python
Python是一門面向?qū)ο蟮膭討B(tài)解釋語言,簡單易學,并且具有很好的可讀性。Python語法簡潔清晰,特色之一是強制用空白符(White Space)作為語句縮進。Python 具有豐富和強大的類庫,它常被稱為“膠水語言”,能夠很輕松地把用其他語言制作的各種模塊(尤其是C/C++)聯(lián)結(jié)在一起。常見的一種應用情形是,先使用 Python 快速生成程序的原型(有時甚至是程序的最終界面),然后對其中有特別要求的部分用更合適的語言改寫, 比如 3D游戲?qū)D形渲染模塊的性能要求特別高,就可以用 C/C++重寫,而后封裝為 Python可以調(diào)用的擴展類庫。目前,在 Python 的生態(tài)圈中存在大量的第三方擴展類庫,可以借助這些類庫輕松實現(xiàn)項目需求。需要注意的是,在使用擴展類庫時可能需要考慮平臺問題,某些擴展類庫可能不提供跨平臺的實現(xiàn)。Python 目前是一門非常流行的語言,在 TIOBE最新推出的2020年1月編程語言排名位列第三,用戶使用率穩(wěn)居前三。
在PYPL各種編程語言的流行程度的統(tǒng)計中,最新一期2020年1月Python的排名遙遙領先。
Python 是一門動態(tài)語言,非常適合于交互性開發(fā)和大型項目的快速原型開發(fā)。由于Python 具有豐富的類庫支持,因此被廣泛應用于機器學習和數(shù)據(jù)科學方面。從這個方面來說,利用 Python 可以將研究項目和生產(chǎn)項目用統(tǒng)一的語言來實現(xiàn),這就有效地降低了將研究項目轉(zhuǎn)化成生產(chǎn)項目的成本。
2.2 SciPy
SciPy 是在數(shù)學運算、科學和工程學方面被廣泛應用的Python 類庫。它包括統(tǒng)計、優(yōu)化、整合、線性代數(shù)模塊、傅里葉變換、信號和圖像處理、常微分方程求解器等,因此被廣泛地應用在機器學習項目中 。 SciPy 依賴以下幾個與機器學習相關的類庫。
NumPy:是 Python 的一種開源數(shù)值計算擴展。它可用來存儲和處理大型矩陣,提供了許多高級的數(shù)值編程工具, 如矩陣數(shù)據(jù)類型、矢量處理、精密的運算庫。
Pandas:是基于 NumPy 的一種工具,是為了解決數(shù)據(jù)分析任務而創(chuàng)建的 。 Pandas 納入了大量庫和一些標準的數(shù)據(jù)模型,提供了高效地操作大型數(shù)據(jù)集所需的工具,也提供了大量能使我們快速、便捷地處理數(shù)據(jù)的函數(shù)和方法 。
Matplotlib:Python中最著名的20繪圖庫,十分適合交互式地進行制圖;也可以方便地將它作為繪圖控件,嵌入GUI應用程序中 。
熟悉 SciPy 是提高機器學習實踐的有效手段,尤其是在以下幾個方面:
2.3 scikit-learn
scikit-leam是Python中開發(fā)和實踐機器學習的著名類庫之一,依賴于SciPy及其相關類庫來運行。scikit-leam的基本功能主要分為六大部分:分類、回歸、聚類、數(shù)據(jù)降維、模型選擇和數(shù)據(jù)預處理。需要指出的是,由于scikit-leam本身不支持深度學習,也不支持GPU加速,因此 scikit-leam對于多層感知器(MLP)神經(jīng)網(wǎng)絡的實現(xiàn)并不適合處理大規(guī)模問題。(scikit-leam對MLP 的支持在 0.18 版之后增加)
scikit-leam是一個開源項目,遵守BSD協(xié)議,可以將項目應用于商業(yè)開發(fā)。目前主要由社區(qū)成員自發(fā)進行維護。可能是由于維護成本的限制,scikit-leam相比其他項目要顯得更為保守,這主要體現(xiàn)在兩個方面 :
比方說,神經(jīng)網(wǎng)絡不見得比決策樹好,同樣反過來也不成立。最后的結(jié)果是有很多因素在起作用的,比方說數(shù)據(jù)集的大小以及組成。
所以,針對你要解決的問題,最好是嘗試多種不同的算法。并借一個測試集來評估不同算法之間的表現(xiàn),最后選出一個結(jié)果最好的。當然,你要選適合解決你問題的算法來嘗試。比方說,要打掃房子,你會用真空吸塵器,掃把,拖把;你絕對不會翻出一把鏟子來開始挖坑,對吧。
面對海量的機器學習算法,萌新最愛問的是:“我該選什么算法?” 在回答這個問題之前,要先想清楚:
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03