機(jī)器學(xué)習(xí)中的參數(shù)與超參數(shù)之間的區(qū)別

機(jī)器學(xué)習(xí)中的模型參數(shù)和模型超參數(shù)在作用、來源等方面都有所不同，而模型超參數(shù)常被稱為模型參數(shù)，這樣，很容易對(duì)初學(xué)者造成混淆。本文給出了模型參數(shù)和模型超參數(shù)的定義，并進(jìn)行了對(duì)比，指出了二者本質(zhì)上的區(qū)別：模型參數(shù)是模型內(nèi)部的配置變量，可以用數(shù)據(jù)估計(jì)模型參數(shù)的值；模型超參數(shù)是模型外部的配置，必須手動(dòng)設(shè)置參數(shù)的值。

我們?cè)谧鲅芯康臅r(shí)候，會(huì)碰到很多術(shù)語。有時(shí)，在不同的研究領(lǐng)域還會(huì)出現(xiàn)同樣名稱的術(shù)語。比如，統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)中經(jīng)常使用的“模型參數(shù)”和“模型超參數(shù)”，在機(jī)器學(xué)習(xí)中也同樣存在。

機(jī)器學(xué)習(xí)領(lǐng)域中的“模型參數(shù)”“模型超參數(shù)”在作用、來源等方面都有所不同，初學(xué)者如果對(duì)二者沒有明確的認(rèn)識(shí)，學(xué)習(xí)起來往往會(huì)比較吃力，尤其是那些來自統(tǒng)計(jì)學(xué)和經(jīng)濟(jì)學(xué)領(lǐng)域的初學(xué)者們。

為了讓大家在應(yīng)用機(jī)器學(xué)習(xí)時(shí)，對(duì)“參數(shù)模型”和“超參數(shù)模型”有一個(gè)清晰的界定，在這篇文章中，我們將具體討論這兩個(gè)術(shù)語。

首先，我們來看一下“參數(shù)”是什么？

參數(shù)作為模型從歷史訓(xùn)練數(shù)據(jù)中學(xué)到的一部分，是機(jī)器學(xué)習(xí)算法的關(guān)鍵 。

統(tǒng)計(jì)學(xué)中的“參數(shù)”：

在統(tǒng)計(jì)學(xué)中，你可以假設(shè)一個(gè)變量的分布，比如高斯分布。高斯分布的兩個(gè)參數(shù)分別是平均值（μ）和標(biāo)準(zhǔn)差（sigma）。這在機(jī)器學(xué)習(xí)中是有效的，其中這些參數(shù)可以用數(shù)據(jù)估計(jì)得到并用作預(yù)測(cè)模型的一部分。

編程中的“參數(shù)”：

編程中可以將參數(shù)傳遞給函數(shù)。在這種情況下，參數(shù)是一個(gè)函數(shù)參數(shù)，可以有一個(gè)值范圍。在機(jī)器學(xué)習(xí)中，您正在使用的具體模型就是函數(shù)，需要參數(shù)才能對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)。

“參數(shù)”和“模型”有什么關(guān)系？

根據(jù)經(jīng)典的機(jī)器學(xué)習(xí)文獻(xiàn)，可以將模型看作假設(shè)，而參數(shù)是根據(jù)特定的數(shù)據(jù)集對(duì)假設(shè)進(jìn)行的具體調(diào)整。

模型是否具有固定或可變數(shù)量的參數(shù)，決定了模型是“參數(shù)”模型或“非參”模型。

什么是模型參數(shù)？

簡(jiǎn)單來說，模型參數(shù)就是模型內(nèi)部的配置變量，可以用數(shù)據(jù)估計(jì)它的值。

具體來講，模型參數(shù)有以下特征：

進(jìn)行模型預(yù)測(cè)時(shí)需要模型參數(shù)。

模型參數(shù)值可以定義模型功能。

模型參數(shù)用數(shù)據(jù)估計(jì)或數(shù)據(jù)學(xué)習(xí)得到

模型參數(shù)一般不由實(shí)踐者手動(dòng)設(shè)置。

模型參數(shù)通常作為學(xué)習(xí)模型的一部分保存。

通常使用優(yōu)化算法估計(jì)模型參數(shù)，優(yōu)化算法是對(duì)參數(shù)的可能值進(jìn)行的一種有效搜索。

模型參數(shù)的一些例子包括：

人造神經(jīng)網(wǎng)絡(luò)中的權(quán)重。

支持向量機(jī)中的支持向量。

線性回歸或邏輯回歸中的系數(shù)。

什么是模型超參數(shù)？

模型超參數(shù)是模型外部的配置，其值不能從數(shù)據(jù)估計(jì)得到。

具體特征有：

模型超參數(shù)常應(yīng)用于估計(jì)模型參數(shù)的過程中。

模型超參數(shù)通常由實(shí)踐者直接指

模型超參數(shù)通?？梢允褂脝l(fā)式方法來設(shè)置。

模型超參數(shù)通常根據(jù)給定的預(yù)測(cè)建模問題而調(diào)整。

怎樣得到它的最優(yōu)值： 對(duì)于給定的問題，我們無法知道模型超參數(shù)的最優(yōu)值。但我們可以使用經(jīng)驗(yàn)法則來探尋其最優(yōu)值，或復(fù)制用于其他問題的值，也可以通過反復(fù)試驗(yàn)的方法。

模型超參數(shù)的一些例子包括：

訓(xùn)練神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率。

支持向量機(jī)的C和sigma超參數(shù)。

k鄰域中的k。

“模型參數(shù)”和“模型超參數(shù)”

二者的聯(lián)系：

當(dāng)針對(duì)特定問題調(diào)整機(jī)器學(xué)習(xí)算法時(shí)，例如在使用網(wǎng)格搜索或隨機(jī)搜索時(shí)，你將調(diào)整模型或命令的超參數(shù)，以發(fā)現(xiàn)一個(gè)可以使模型預(yù)測(cè)最熟練的模型參數(shù)。許多模型中重要的參數(shù)無法直接從數(shù)據(jù)中估計(jì)得到。例如，在K近鄰分類模型中...這種類型的模型參數(shù)被稱為調(diào)整參數(shù)，因?yàn)闆]有可用的分析公式來為其計(jì)算一個(gè)合適的值。

區(qū)分：

模型超參數(shù)通常被稱為模型參數(shù)，這種叫法很容易讓人產(chǎn)生誤解。解決這個(gè)問題的一個(gè)很好的經(jīng)驗(yàn)法則如下：如果你必須手動(dòng)指定一個(gè)“模型參數(shù)”，那么它可能就是一個(gè)模型超參數(shù)。

總結(jié)

讀完這篇文章可以了解模型參數(shù)和模型超參數(shù)的明確定義和區(qū)別。

總而言之，模型參數(shù)是從數(shù)據(jù)中自動(dòng)估計(jì)的，而模型超參數(shù)是手動(dòng)設(shè)置的，并用于估計(jì)模型參數(shù)的過程。