出品 | CDA數(shù)據(jù)分析研究院，轉(zhuǎn)載需授權(quán)

在百度中輸入“什么是機(jī)器學(xué)習(xí)？”并進(jìn)行搜索后，就仿佛打開(kāi)了一個(gè)潘多拉的魔盒，里面有各種網(wǎng)站，論壇，百度知道，視頻，學(xué)術(shù)性研究等，當(dāng)然還會(huì)這篇文章要講的，那就是什么是機(jī)器學(xué)習(xí)等一系列相關(guān)的認(rèn)知文章，和相關(guān)視頻的推薦。而這篇文章的目的也就是為了簡(jiǎn)化機(jī)器學(xué)習(xí)的定義和方便人們理解什么是機(jī)器學(xué)習(xí)。

除了了解什么是機(jī)器學(xué)習(xí)（ML），機(jī)器學(xué)習(xí)的定義之外，我們還旨在簡(jiǎn)要概述機(jī)器學(xué)習(xí)的基本原理，讓機(jī)器“思考”的挑戰(zhàn)和局限性，以及今天深入了解的一些問(wèn)題學(xué)習(xí)（機(jī)器學(xué)習(xí)的“前沿”），以及開(kāi)發(fā)機(jī)器學(xué)習(xí)應(yīng)用程序的關(guān)鍵要點(diǎn)。

本文將分為以下幾個(gè)部分：

• 什么是機(jī)器學(xué)習(xí)？
• 我們是如何得出我們的定義的（也就是：專家研究人員的觀點(diǎn)）
• 機(jī)器學(xué)習(xí)的基本概念
• ML模型的可視化表示
• 我們?nèi)绾巫?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)
• ML的挑戰(zhàn)和局限概述
• 深度學(xué)習(xí)簡(jiǎn)介

無(wú)論你對(duì)機(jī)器學(xué)習(xí)是否有興趣，我們都將把這些資源整合在一起，以幫助你解決有關(guān)機(jī)器學(xué)習(xí)的問(wèn)題 - 所以你可以查看任何你感興趣的話題，或者按照順序閱讀這篇文章都可以，那么我們就從下面的機(jī)器學(xué)習(xí)定義開(kāi)始：

什么是機(jī)器學(xué)習(xí)？

“機(jī)器學(xué)習(xí)是讓計(jì)算機(jī)像人類一樣學(xué)習(xí)和行動(dòng)的科學(xué)，通過(guò)以觀察和與現(xiàn)實(shí)世界進(jìn)行互動(dòng)的形式向他們提供數(shù)據(jù)和信息，隨著時(shí)間的推移，以自主的方式提高計(jì)算機(jī)的學(xué)習(xí)能力?！?/span>

上述定義包含了機(jī)器學(xué)習(xí)的理想目標(biāo)或最終目標(biāo)，正如該領(lǐng)域的許多研究人員所表達(dá)的那樣。本文的目的是為具有商業(yè)頭腦的讀者提供有關(guān)機(jī)器學(xué)習(xí)的定義及其工作原理的專家觀點(diǎn)。 機(jī)器學(xué)習(xí)和人工智能在許多人的腦海中具有相同的定義，但讀者也應(yīng)該認(rèn)識(shí)到他們其中的一些明顯的差異。

我們是如何得出我們的定義的：

與任何概念一樣，機(jī)器學(xué)習(xí)的定義可能略有不同，具體取決于你向誰(shuí)問(wèn)機(jī)器學(xué)習(xí)的概念。我們梳理了在互聯(lián)網(wǎng)中對(duì)機(jī)器學(xué)習(xí)的定義，從一些著名的來(lái)源中找到五個(gè)實(shí)用的定義：

1. “最基本的機(jī)器學(xué)習(xí)是使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后對(duì)世界上的一些事情做出決定或者是預(yù)測(cè)。” - Nvidia
2. “機(jī)器學(xué)習(xí)是一門不需要明確編程就能讓計(jì)算機(jī)運(yùn)行的科學(xué)?！?- 斯坦福大學(xué)
3. “機(jī)器學(xué)習(xí)基于算法，可以從數(shù)據(jù)中進(jìn)行學(xué)習(xí)而不依賴于基于規(guī)則的編程。” - 麥肯錫公司
4. “機(jī)器學(xué)習(xí)算法可以通過(guò)例子從中挑選出執(zhí)行最重要任務(wù)的方法。” - 華盛頓大學(xué)
5. “機(jī)器學(xué)習(xí)領(lǐng)域旨在回答這樣一個(gè)問(wèn)題：”我們?nèi)绾谓⒛軌蚋鶕?jù)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)系統(tǒng)，以及管理所有學(xué)習(xí)過(guò)程的基本法則是什么？“ - 卡內(nèi)基梅隆大學(xué)

我們將這些定義發(fā)送給我們采訪過(guò)和/或包含在我們之前的研究共識(shí)中的專家，并要求他們回答他們最喜歡的定義或提供他們自己的定義。我們的介紹性定義旨在反映不同的反應(yīng)。以下是他們的一些回復(fù)：

蒙特利爾大學(xué)Yoshua Bengio博士：

ML不應(yīng)由否定來(lái)定義（因此判定2和3）。而我的定義如下：

機(jī)器學(xué)習(xí)研究是人工智能研究的一部分，旨在通過(guò)數(shù)據(jù)，觀察和與世界的互動(dòng)為計(jì)算機(jī)提供知識(shí)。獲得的知識(shí)允許計(jì)算機(jī)能夠正確地推廣到新設(shè)置。

Danko Nikolic博士，CSC和Max-Planck研究所：

（選擇上面的數(shù)字2）：“機(jī)器學(xué)習(xí)是讓計(jì)算機(jī)在沒(méi)有明確編程的情況下采取行動(dòng)的科學(xué)，而是讓他們自己學(xué)習(xí)一些技巧?！?/span>

路易斯維爾大學(xué)Roman Yampolskiy博士：

機(jī)器學(xué)習(xí)是一門讓計(jì)算機(jī)學(xué)習(xí)和人類做得更好或更好的科學(xué)。

華盛頓大學(xué)Emily Fox博士：

我最喜歡的定義是第五個(gè)。

機(jī)器學(xué)的習(xí)基本概念

有許多不同類型的機(jī)器學(xué)習(xí)算法，每天都會(huì)有新發(fā)布數(shù)百種的算法，并且它們通常按學(xué)習(xí)風(fēng)格（即監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)）或通過(guò)形式或功能的相似性（即分類，回歸，決策樹(shù)，聚類，深度學(xué)習(xí)等）。無(wú)論學(xué)習(xí)風(fēng)格或功能如何，機(jī)器學(xué)習(xí)算法的所有組合都包含以下內(nèi)容：

• 表示（一組分類器或計(jì)算機(jī)理解的語(yǔ)言）
• 評(píng)估（又名目標(biāo)/評(píng)分功能）
• 優(yōu)化（搜索方法;通常是評(píng)分最高的分類器;使用現(xiàn)成的和自定義的優(yōu)化方法）

模型的可視化表示

到目前為止，概念和要點(diǎn)只能走這么遠(yuǎn)。當(dāng)人們問(wèn)“什么是機(jī)器學(xué)習(xí)？”時(shí)，他們經(jīng)常想看看它是什么以及它做了什么。以下是機(jī)器學(xué)習(xí)模型的一些可視化表示。

• 決策樹(shù)模型

• 高斯混合模型

• drop神經(jīng)網(wǎng)絡(luò)

• 卷積神經(jīng)網(wǎng)絡(luò)合并色度和亮度

我們?nèi)绾巫寵C(jī)器去學(xué)習(xí)

有許多不同的方法讓機(jī)器學(xué)習(xí)，從使用基本決策樹(shù)到聚類再到人工神經(jīng)網(wǎng)絡(luò)層（后者已經(jīng)讓位于深度學(xué)習(xí)），這取決于你要完成的任務(wù)和類型以及你可用的數(shù)據(jù)量。這種動(dòng)力在各種應(yīng)用中發(fā)揮作用，如醫(yī)療診斷或自動(dòng)駕駛汽車。

雖然重點(diǎn)通常放在選擇最佳學(xué)習(xí)算法上，但研究人員發(fā)現(xiàn)，一些最有趣的問(wèn)題沒(méi)有可用的機(jī)器學(xué)習(xí)算法的執(zhí)行標(biāo)準(zhǔn)。大多數(shù)情況下，這是訓(xùn)練數(shù)據(jù)的問(wèn)題，但這也發(fā)生在使用機(jī)器學(xué)習(xí)在新領(lǐng)域上。

在處理實(shí)際應(yīng)用程序時(shí)所做的研究通常會(huì)推動(dòng)該領(lǐng)域的進(jìn)展，原因有兩個(gè)：1.發(fā)現(xiàn)現(xiàn)有方法的界限和局限性的趨勢(shì)2.研究人員和開(kāi)發(fā)人員與領(lǐng)域?qū)＜液献?，利用時(shí)間和專業(yè)知識(shí)來(lái)提高系統(tǒng)性能。

有時(shí)這也是由“意外”發(fā)生的。我們可能會(huì)考慮模型集合或許多學(xué)習(xí)算法的組合來(lái)提高準(zhǔn)確性，但有一個(gè)例子。2009年Netflix Price的團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)他們將學(xué)習(xí)者與其他團(tuán)隊(duì)的學(xué)習(xí)者結(jié)合起來(lái)時(shí)，他們?nèi)〉昧俗詈玫某煽?jī)，從而改進(jìn)了推薦算法。

在商業(yè)和其他領(lǐng)域的應(yīng)用方面，一個(gè)重要的觀點(diǎn)（基于對(duì)該領(lǐng)域?qū)＜业脑L談和對(duì)話）是，機(jī)器學(xué)習(xí)不僅僅是一個(gè)經(jīng)常被誤解的概念，甚至與自動(dòng)化有關(guān)，這是一個(gè)經(jīng)常被誤解的概念。如果你這樣想，你一定會(huì)錯(cuò)過(guò)機(jī)器學(xué)習(xí)可以提供的寶貴見(jiàn)解和由此產(chǎn)生的機(jī)會(huì)（重新思考整個(gè)商業(yè)模式，就像制造業(yè)和農(nóng)業(yè)等所做的那樣）。

學(xué)習(xí)的機(jī)器對(duì)人類很有用，因?yàn)樗鼈兙哂兴械奶幚砟芰?，能夠更快地突出顯示或找到人類可能錯(cuò)過(guò)的大數(shù)據(jù)（或其他）中的模式，否則人類就會(huì)錯(cuò)過(guò)這些模式。機(jī)器學(xué)習(xí)是一種工具，可用于增強(qiáng)人類解決問(wèn)題的能力，并從廣泛的問(wèn)題中做出明智的推斷，從幫助診斷疾病到提出全球氣候變化的解決方案。

挑戰(zhàn)與局限

“機(jī)器學(xué)習(xí)無(wú)法從無(wú)到有......它的作用是從更少的東西中獲得更多?！?- 華盛頓大學(xué)Pedro Domingo博士

機(jī)器學(xué)習(xí)中兩個(gè)最大的，歷史性的和持續(xù)的問(wèn)題都涉及過(guò)度擬合（其中模型表現(xiàn)出對(duì)訓(xùn)練數(shù)據(jù)的偏見(jiàn)，并且不會(huì)推廣到新數(shù)據(jù)，和/或變化，即在訓(xùn)練新數(shù)據(jù)時(shí)學(xué)習(xí)隨機(jī)事物）和維度（具有更多特征的算法在更高/更多維度上工作，使得理解數(shù)據(jù)更加困難）。在某些情況下，訪問(wèn)足夠大的數(shù)據(jù)集也是主要問(wèn)題。

機(jī)器學(xué)習(xí)初學(xué)者中最常見(jiàn)的錯(cuò)誤之一是成功地測(cè)試訓(xùn)練數(shù)據(jù)并產(chǎn)生成功的假象; Domingo（和其他人）強(qiáng)調(diào)在測(cè)試模型時(shí)保持一些數(shù)據(jù)集獨(dú)立的重要性，并且僅使用該保留的數(shù)據(jù)來(lái)測(cè)試所選模型，然后對(duì)整個(gè)數(shù)據(jù)集進(jìn)行學(xué)習(xí)。

當(dāng)一個(gè)學(xué)習(xí)算法（即學(xué)習(xí)者）不起作用時(shí)，通常更快的成功之路是為機(jī)器提供更多的數(shù)據(jù)，其可用性現(xiàn)已成為近期機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法進(jìn)步的主要驅(qū)動(dòng)因素。 然而，這可能導(dǎo)致可擴(kuò)展性問(wèn)題，在可擴(kuò)展性中，我們有更多的數(shù)據(jù)，但是否有時(shí)間了解數(shù)據(jù)仍然是一個(gè)問(wèn)題。

就目的而言，機(jī)器學(xué)習(xí)本身并不是目的或解決方案。此外，嘗試將其用作一攬子解決方案即“BLANK”并不是一項(xiàng)有用的做法; 相反，帶著一個(gè)問(wèn)題或目標(biāo)來(lái)到談判桌上往往最好由一個(gè)更具體的問(wèn)題來(lái)驅(qū)動(dòng) - “BLANK”。度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的現(xiàn)代發(fā)展

深度學(xué)習(xí)涉及機(jī)器算法的研究和設(shè)計(jì)，用于在多個(gè)抽象級(jí)別（安排計(jì)算機(jī)系統(tǒng)的方式）學(xué)習(xí)數(shù)據(jù)的良好表示。最近通過(guò)DeepMind，F(xiàn)acebook和其他機(jī)構(gòu)進(jìn)行深度學(xué)習(xí)進(jìn)行了宣傳，突顯了它作為機(jī)器學(xué)習(xí)的“下一個(gè)前沿”。

機(jī)器學(xué)習(xí)國(guó)際會(huì)議（ICML）被廣泛認(rèn)為是世界上最重要的會(huì)議之一。該會(huì)議在今年6月在紐約市舉行，匯集了來(lái)自世界各地的研究人員齊聚一堂，他們致力于解決當(dāng)前深度學(xué)習(xí)中的挑戰(zhàn)：

1. 小數(shù)據(jù)集中的無(wú)監(jiān)督學(xué)習(xí)
2. 基于模擬的學(xué)習(xí)和對(duì)現(xiàn)實(shí)世界的可轉(zhuǎn)移性

深度學(xué)習(xí)系統(tǒng)在過(guò)去十年中在諸如對(duì)象檢測(cè)和識(shí)別，文本到語(yǔ)音，信息檢索等領(lǐng)域取得了巨大的進(jìn)步。研究現(xiàn)在專注于開(kāi)發(fā)數(shù)據(jù)高效的機(jī)器學(xué)習(xí)，也就是在個(gè)性化醫(yī)療、機(jī)器人強(qiáng)化學(xué)習(xí)、情緒分析等前沿領(lǐng)域，開(kāi)發(fā)更搞笑的深度學(xué)習(xí)系統(tǒng)，在更短的時(shí)間和更少的數(shù)據(jù)下，以同樣的性能進(jìn)行跟高效的學(xué)習(xí)。

應(yīng)用機(jī)器學(xué)習(xí)的關(guān)鍵

下面是一系列應(yīng)用機(jī)器學(xué)習(xí)的最佳實(shí)踐和概念，我們已經(jīng)從我們對(duì)播客系列的采訪以及本文末尾引用的選擇來(lái)源進(jìn)行了整理。我們希望這些原則中的一些將闡明如何使用ML，以及如何避免公司和研究人員在啟動(dòng)ML相關(guān)項(xiàng)目時(shí)可能容易受到的一些常見(jiàn)陷阱。

• 可以說(shuō)，在成功的機(jī)器學(xué)習(xí)項(xiàng)目中最重要的因素是用來(lái)描述數(shù)據(jù)（特定于領(lǐng)域）的特性，并具有足夠的數(shù)據(jù)來(lái)訓(xùn)練你的模型
• 大多數(shù)情況下，當(dāng)算法表現(xiàn)不佳時(shí)，這是由于訓(xùn)練數(shù)據(jù)存在問(wèn)題（即數(shù)據(jù)量不足/數(shù)據(jù)偏差;數(shù)據(jù)噪聲較大;或者描述數(shù)據(jù)的功能不足以做出決策
• “簡(jiǎn)單并不意味著準(zhǔn)確性” - 根據(jù)多明戈的說(shuō)法，模型的參數(shù)數(shù)量和過(guò)度擬合的趨勢(shì)之間沒(méi)有特定的聯(lián)系
• 如果可能的話，應(yīng)該盡可能的獲得實(shí)驗(yàn)數(shù)據(jù)（而不是我們無(wú)法控制的觀察數(shù)據(jù)）（例如，從向隨機(jī)觀眾進(jìn)行抽樣發(fā)送不同的電子郵件中收集的數(shù)據(jù)）
• 無(wú)論我們是否標(biāo)記數(shù)據(jù)因果關(guān)系或相關(guān)性，更重要的都是預(yù)測(cè)我們行為的影響
• 始終留出一部分訓(xùn)練數(shù)據(jù)集進(jìn)行交叉驗(yàn)證; 你希望你選擇的分類器或?qū)W習(xí)算法在新數(shù)據(jù)上表現(xiàn)良好