玩音樂(lè)，敲架子鼓，一個(gè)被“耽誤了”的機(jī)器學(xué)習(xí)高手

多數(shù)伏在案前敲擊鍵盤的程序員或許都曾憧憬：黑框眼鏡、格子襯衫、腳踩涼拖背后的另一番模樣的自己。

對(duì)于來(lái)自紐約的 Peter Sobot 而言，他的本職工作是通過(guò)機(jī)器學(xué)習(xí)系統(tǒng)為 Spotify 平臺(tái)上的用戶推薦音樂(lè)。但朝九晚五的工作之余，他還是一名鼓手兼音樂(lè)人，這也就意味著他需要經(jīng)常創(chuàng)作各類電子音樂(lè)，當(dāng)然，包括架子鼓等打擊樂(lè)器在內(nèi)。

近日，Peter Sobot 在其博客中寫道：“他利用機(jī)器學(xué)習(xí)構(gòu)建了一款應(yīng)用程序，無(wú)論音頻樣本是底鼓、軍鼓還是其他鼓，其識(shí)別準(zhǔn)確率高達(dá) 87%。”

萬(wàn)萬(wàn)沒想到，在工程師的手中，我們可以用機(jī)器學(xué)習(xí)搭建自己的音樂(lè)夢(mèng)想！

需要了解的是，在現(xiàn)代電子音樂(lè)制作中，一般都會(huì)使用鼓聲樣片而不是真實(shí)的鼓手現(xiàn)場(chǎng)錄音的旋律，而這些樣片通常以商業(yè)性質(zhì)出售，或者由音樂(lè)人免費(fèi)在網(wǎng)上共享出來(lái)。不過(guò)，這樣的樣片卻往往很難利用，問(wèn)題就出在它們的標(biāo)簽和分類方式很難盡如人意。

“每家公司都試圖通過(guò)創(chuàng)建自己的樣片夾專有格式，如 Native Instrument 的 Battery 或 Kontakt 格式。兩者都使用元數(shù)據(jù)，并允許用戶通過(guò)各種標(biāo)簽瀏覽樣片。但這些軟件包非常昂貴，且需要學(xué)習(xí)其任務(wù)流程?！?Peter 寫道。

于是，這位被音樂(lè)耽誤了的工程師決定利用機(jī)器學(xué)習(xí)來(lái)嘗試解決這一問(wèn)題。

例如，給出的一段音頻該如何判斷究竟是是底鼓、軍鼓、踩镲，還是別的音樂(lè)樣本？

如果是人類，可以毫不費(fèi)力地區(qū)分出聲音，但計(jì)算機(jī)卻需要大量的訓(xùn)練。在機(jī)器學(xué)習(xí)中，這通常被稱為分類問(wèn)題，即機(jī)器需要注入數(shù)據(jù)并對(duì)其進(jìn)行分類。在這其中，通常會(huì)涉及特征提取階段。

Peter 指出，人類識(shí)別不同的鼓音會(huì)從以下幾個(gè)特征判別：

一是整體文件長(zhǎng)度。因?yàn)樾」牡穆曇粢忍吖牡穆曇舫掷m(xù)時(shí)間更長(zhǎng)，所以比較容易測(cè)量。

二是整體響度。實(shí)際上，由于電子音樂(lè)的大多數(shù)樣本都是標(biāo)準(zhǔn)化的，這意味著不同樣片中的鼓聲響度會(huì)被調(diào)整統(tǒng)一。相反，可以使用“最大”、“中等”、“最小”三種響度以更好地了解響度是如何隨時(shí)間變化的。

三是頻率。如底鼓樣片的低頻音段會(huì)有很多，因其直徑長(zhǎng)，造成鼓聲小而低沉。為了讓機(jī)器學(xué)習(xí)算法學(xué)會(huì)這一點(diǎn)，需要將不同頻率范圍內(nèi)的聲音響度特征分類。

四是音高。盡管鼓是一款打擊樂(lè)器，但仍可以調(diào)到各種音高。為了量化這種調(diào)整，可以采用樣本的基頻來(lái)幫助算法區(qū)分低音和高音。

接下來(lái)，就開始訓(xùn)練數(shù)據(jù)了。

據(jù)了解，Peter 從數(shù)萬(wàn)個(gè)樣本中選取了大概每種樂(lè)器 20~30 個(gè)樣本量，基本分為以下三種類型：一是每種樂(lè)器的不同類型的樣本，如聲學(xué)鼓、電子鼓；二是不同來(lái)源的音樂(lè)樣本；三是非鼓聲的音樂(lè)樣本。

然后，他列出了 100 個(gè)樣本夾，將大概 50 兆字節(jié)的樣本數(shù)據(jù)歸置于 5 個(gè)單獨(dú)文件夾中，分別是：底鼓、小鼓、軍鼓、踩镲、以及其他。

1、執(zhí)行特征提取

據(jù)了解，這個(gè) Python 庫(kù)是由音頻分析師 Brain McFee 等人創(chuàng)建的 librosa 。

（附上GitHub上的代碼鏈接：https://github.com/psobot/machine-learning-for-drummers）

2、將提取特征保存在JSON文件夾中

3、將特征提供給決策樹進(jìn)行訓(xùn)練

以決策樹為例，這是一種常見的機(jī)器學(xué)習(xí)算法，并不涉及“神經(jīng)網(wǎng)絡(luò)”、“深度學(xué)習(xí)”的范疇。簡(jiǎn)言之，決策樹是一種以遞歸方式學(xué)習(xí)每個(gè)特征的閾值并將數(shù)據(jù)分類的系統(tǒng)。

Peter 創(chuàng)建了一個(gè)決策樹模型 classifier.py，其權(quán)重由導(dǎo)入的數(shù)據(jù)通過(guò)統(tǒng)計(jì)決定。以下為可視化模型：

每個(gè)新樣本都傳遞到該決策樹中，并對(duì)提供的特征進(jìn)行由上到下的評(píng)估。例如，如果新樣本為average_eq_2_10 ≤ -56.77 （如圖中的頂部塊所示），則決策樹將向左移動(dòng)，然后檢查其fundamental_5 特征。

如果執(zhí)行 classifier.py ，會(huì)呈現(xiàn)兩個(gè)列表：一是訓(xùn)練準(zhǔn)確率（模型預(yù)測(cè)訓(xùn)練期間出現(xiàn)過(guò)的樣本的準(zhǔn)確率），二是測(cè)試準(zhǔn)確率（模型預(yù)測(cè)訓(xùn)練期間未出現(xiàn)過(guò)的樣本的準(zhǔn)確率）。

據(jù)了解，Peter 分別獲得了 100% 和 87% 的準(zhǔn)確率。

在他看來(lái)，13% 的錯(cuò)誤率可能是過(guò)度擬合導(dǎo)致，因此，為了避免出現(xiàn)這種可能性，他采取了以下三種方式：

1. 調(diào)整算法參數(shù)以使其不會(huì)太具體。

2. 改變特征計(jì)算以便給算法注入更多數(shù)據(jù)，這部分?jǐn)?shù)據(jù)或許對(duì)人類來(lái)說(shuō)并不敏感，但在數(shù)學(xué)上有助于解決分類問(wèn)題。

3. 添加更多多樣化的數(shù)據(jù)，以便決策樹算法可以創(chuàng)建一種更通用的樹，前提是現(xiàn)有數(shù)據(jù)并不完整。

最后，附上這位小哥哥個(gè)人照，

以及博客鏈接：

http://blog.petersobot.com/