當(dāng)我們要學(xué)習(xí)人工智能的時(shí)候，我們需要學(xué)習(xí)很多的知識，比如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等。一般來說，機(jī)器學(xué)習(xí)是人工智能的核心知識，要想學(xué)好人工智能就必須重視機(jī)器學(xué)習(xí)的知識。在這篇文章中我們給大家介紹一下關(guān)于機(jī)器學(xué)習(xí)需要了解的知識。

當(dāng)然，說到機(jī)器學(xué)習(xí)就必須要說一下機(jī)器學(xué)習(xí)算法，在機(jī)器學(xué)習(xí)算法中，尤其是神經(jīng)網(wǎng)絡(luò)被認(rèn)為是新的人工智能革命的起因。而機(jī)器學(xué)習(xí)中涉及到了增強(qiáng)學(xué)習(xí)，那么什么是增強(qiáng)學(xué)習(xí)呢？數(shù)據(jù)驅(qū)動(dòng)算法可以分為三類：監(jiān)督式、非監(jiān)督式和增強(qiáng)學(xué)習(xí)。監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí)通常用于執(zhí)行諸如圖像分類、檢測等任務(wù)，雖然它們的精確度是顯著的，但這些任務(wù)不同于我們所期望的智能。而這些就是增強(qiáng)學(xué)習(xí)的來源。而增強(qiáng)學(xué)習(xí)的原理還是很簡單的，環(huán)境給agent一個(gè)正確的東西給予獎(jiǎng)勵(lì)，并且對于錯(cuò)誤的東西來懲罰它。

下面我們就給大家介紹一下增強(qiáng)學(xué)習(xí)中的算法，有兩種應(yīng)用廣泛的增強(qiáng)學(xué)習(xí)算法，分別是Q Learning和Deep Q Learning，其中Q Learning是一種應(yīng)用廣泛的增強(qiáng)學(xué)習(xí)算法。如果不進(jìn)行詳細(xì)的數(shù)學(xué)運(yùn)算，給定的動(dòng)作質(zhì)量取決于agent處于什么狀態(tài)。agent通常執(zhí)行給予最大回報(bào)的操作。當(dāng)然，在這個(gè)算法中，agent根據(jù)環(huán)境給予多少回報(bào)來學(xué)習(xí)每個(gè)動(dòng)作的質(zhì)量。每個(gè)環(huán)境的狀態(tài)值以及Q值通常存儲(chǔ)在表中。當(dāng)agent與環(huán)境交互時(shí)，Q值從隨機(jī)值更新到實(shí)際上有助于最大化回報(bào)的值。而Deep Q Learning則是Q Learning的拓展，這是因?yàn)镼 Learning的使用表的問題在于它不能很好地?cái)U(kuò)展。如果狀態(tài)數(shù)太高，該表將不適合于內(nèi)存。這就是Deep Q Learning可以應(yīng)用的地方。深度學(xué)習(xí)基本上是一種通用的近似機(jī)器，它能理解抽象的表示。深度學(xué)習(xí)可以用來近似Q值，也可以通過梯度下降學(xué)習(xí)Q值。

在增強(qiáng)學(xué)習(xí)中，在訓(xùn)練數(shù)據(jù)的情況下總會(huì)有經(jīng)驗(yàn)回放，這是因?yàn)樵谟?xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，數(shù)據(jù)不平衡起著非常重要的作用。如果一個(gè)模型被訓(xùn)練，當(dāng)agent與環(huán)境交互時(shí)，就會(huì)出現(xiàn)不平衡。所以，所有狀態(tài)以及相關(guān)數(shù)據(jù)都存儲(chǔ)在內(nèi)存中，神經(jīng)網(wǎng)絡(luò)可以隨機(jī)選取一批交互和學(xué)習(xí)。

那么增強(qiáng)學(xué)習(xí)有什么延伸的方面呢？其實(shí)增強(qiáng)學(xué)習(xí)有很多的功能，能很好地處理許多事情，但是在反饋稀疏的地方通常會(huì)失敗。agent不會(huì)長期探索實(shí)際有益的行為。有時(shí)，為了自身的緣故而不是直接嘗試解決問題，需要采取一些行動(dòng)。因?yàn)檫@樣做可以讓agent執(zhí)行復(fù)雜的操作，基本上允許agent計(jì)劃事情。在這種設(shè)置中，有兩個(gè)Q網(wǎng)絡(luò)。它們被表示為控制器和元控制器。 元控制器查看原始狀態(tài)并計(jì)算要遵循的目標(biāo)。 控制器與目標(biāo)一起進(jìn)入狀態(tài)，并輸出策略來解決目標(biāo)。檢查是否達(dá)成目標(biāo)，并向控制器給予回報(bào)。 當(dāng)片段結(jié)束或達(dá)到目標(biāo)時(shí)，控制器停止。然后，元控制器選擇一個(gè)新目標(biāo)，并重復(fù)這個(gè)目標(biāo)。

在這篇文章中我們簡單給大家介紹了關(guān)于機(jī)器學(xué)習(xí)需要了解的知識，具體的內(nèi)容就是關(guān)于增強(qiáng)學(xué)習(xí)的一些知識。通過這些內(nèi)容我們可以更深入地了解深度學(xué)習(xí)的知識，希望這篇文章能夠更好地幫助到大家。