作者 | Python語音識(shí)別

來源 | 濤哥聊Python

雖然我們大多數(shù)人都驚嘆為什么DL這么好？在使用大量數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，它在準(zhǔn)確性方面非常出色。近幾年隨著深度學(xué)習(xí)算法的發(fā)展，出現(xiàn)了很多深度學(xué)習(xí)的框架，這些框架各有所長(zhǎng)，各具特色。下面將為大家介紹2019年最受歡迎的十大深度學(xué)習(xí)框架。

TensorFlow

谷歌的Tensorflow可以說是當(dāng)今最受歡迎的深度學(xué)習(xí)框架。Gmail，Uber，Airbnb，Nvidia以及其他許多知名品牌都在使用。TF是目前深度學(xué)習(xí)的主流框架，Tensorflow主要特性：

• TensorFlow支持python、JavaScript、C ++、Java和Go，C＃和Julia等多種編程語言。
• TF不僅擁有強(qiáng)大的計(jì)算集群，還可以在iOS和Android等移動(dòng)平臺(tái)上運(yùn)行模型。
• TF編程入門難度較大。初學(xué)者需要仔細(xì)考慮神經(jīng)網(wǎng)絡(luò)的架構(gòu)，正確評(píng)估輸入和輸出數(shù)據(jù)的維度和數(shù)量。
• TF使用靜態(tài)計(jì)算圖進(jìn)行操作 。也就是說我們需要先定義圖形，然后運(yùn)行計(jì)算，如果我們需要對(duì)架構(gòu)進(jìn)行更改，我們會(huì)重新訓(xùn)練模型。選擇這樣的方法是為了提高效率，但是許多現(xiàn)代神經(jīng)網(wǎng)絡(luò)工具能夠在學(xué)習(xí)過程中考慮改進(jìn)而不會(huì)顯著降低學(xué)習(xí)速度。在這方面，TensorFlow的主要競(jìng)爭(zhēng)對(duì)手是PyTorch 。

TensorFlow優(yōu)點(diǎn)：

• 它非常適合創(chuàng)建和試驗(yàn)深度學(xué)習(xí)架構(gòu)，便于數(shù)據(jù)集成，如輸入圖形，SQL表和圖像。
• 它得到谷歌的支持，這就說明該模型短期內(nèi)不會(huì)被拋棄，因此值得投入時(shí)間來學(xué)習(xí)它。

PyTorch

Tensorflow之后用于深度學(xué)習(xí)的主要框架是PyTorch。PyTorch框架是Facebook開發(fā)的，已被Twitter和Salesforce等公司使用。

PyTorch基本特性：

• 與TensorFlow不同，PyTorch庫使用動(dòng)態(tài)更新的圖形進(jìn)行操作 。這意味著它可以在流程中更改體系結(jié)構(gòu)。
• 在PyTorch中，您可以使用標(biāo)準(zhǔn)調(diào)試器 ，例如pdb或PyCharm。

PyTorch優(yōu)點(diǎn)：

• 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程簡(jiǎn)單明了。同時(shí)，PyTorch支持?jǐn)?shù)據(jù)并行和分布式學(xué)習(xí)模型，并且還包含許多預(yù)先訓(xùn)練的模型。
• PyTorch更適合小型項(xiàng)目和原型設(shè)計(jì)。

Sonnet

Sonnet深度學(xué)習(xí)框架是建立在TensorFlow的基礎(chǔ)之上。它是DeepMind用于創(chuàng)建具有復(fù)雜架構(gòu)的神經(jīng)網(wǎng)絡(luò)。

Sonnet基本特性：

• 面向?qū)ο蟮膸?，在開發(fā)神經(jīng)網(wǎng)絡(luò)（NN）或其他機(jī)器學(xué)習(xí)（ML）算法時(shí)更加抽象。
• Sonnet的想法是構(gòu)造對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)的特定部分的主要Python對(duì)象。此外，這些對(duì)象獨(dú)立地連接到計(jì)算TensorFlow圖。分離創(chuàng)建對(duì)象并將其與圖形相關(guān)聯(lián)的過程簡(jiǎn)化了高級(jí)體系結(jié)構(gòu)的設(shè)計(jì)。

Sonnet優(yōu)點(diǎn)：

• Sonnet的主要優(yōu)點(diǎn)是可以使用它來重現(xiàn)DeepMind論文中展示的研究，比Keras更容易，因?yàn)镈eepMind論文模型就是使用Sonnet搭建的。

Keras

Keras是一個(gè)機(jī)器學(xué)習(xí)框架，如果您擁有大量數(shù)據(jù)和/或你想快速入門深度學(xué)習(xí)，那么Keras將非常適合學(xué)習(xí)。Keras是TensorFlow高級(jí)集成APi，可以非常方便的和TensorFlow進(jìn)行融合。這是我強(qiáng)烈推薦學(xué)習(xí)的一個(gè)庫。

Keras基本特性：

• 除了Tensorflow之外，Keras還是其他流行的庫（如Theano和CNTK）的高級(jí)API。
• 在Keras中更容易創(chuàng)建大規(guī)模的深度學(xué)習(xí)模型，但Keras框架環(huán)境配置比其他底層框架要復(fù)雜一些。

Keras優(yōu)點(diǎn)：

• 對(duì)于剛剛?cè)腴T的人來說，Keras是最好的深度學(xué)習(xí)框架。它是學(xué)習(xí)和原型化簡(jiǎn)單概念的理想選擇，可以理解各種模型和學(xué)習(xí)過程的本質(zhì)。
• Keras是一個(gè)簡(jiǎn)潔的API。 可以快速幫助您創(chuàng)建應(yīng)用程序。
• Keras中代碼更加可讀和簡(jiǎn)潔。
• Keras模型序列化/反序列化API，回調(diào)和使用Python生成器的數(shù)據(jù)流非常成熟。

順便說一下TensorFlow和Keras的對(duì)比：

PS：Tensorflow處于底層框架：這和MXNet，Theano和PyTorch等框架一樣。包括實(shí)現(xiàn)諸如廣義矩陣 - 矩陣乘法和諸如卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)原語之類的數(shù)學(xué)運(yùn)算。

Keras處于高度集成框架。雖然更容易創(chuàng)建模型，但是面對(duì)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)時(shí)可能不如TensorFlow。

MXNet

MXNet是一種高度可擴(kuò)展的深度學(xué)習(xí)工具，可用于各種設(shè)備。雖然與TensorFlow相比，它似乎沒有被廣泛使用，但MXNet的增長(zhǎng)可能會(huì)因?yàn)槌蔀橐粋€(gè)Apache項(xiàng)目而得到提升。

MXNet基本特性：

• 該框架支持多種語言，如C ++，Python，R，Julia，JavaScript，Scala，Go，甚至Perl。
• 可以在多個(gè)GPU和許多機(jī)器上非常有效地并行計(jì)算。

MXNet優(yōu)點(diǎn)：

• 支持多個(gè)GPU（具有優(yōu)化的計(jì)算和快速上下文切換）
• 清晰且易于維護(hù)的代碼（Python，R，Scala和其他API）
• 快速解決問題的能力（對(duì)于像我這樣的深度學(xué)習(xí)新手至關(guān)重要）

雖然它不像TF那么受歡迎，但MXNet具有詳細(xì)的文檔并且易于使用，能夠在命令式和符號(hào)式編程風(fēng)格之間進(jìn)行選擇，使其成為初學(xué)者和經(jīng)驗(yàn)豐富的工程師的理想選擇。

GLUON

Gluon是一個(gè)更好的深度學(xué)習(xí)框架，可以用來創(chuàng)建復(fù)雜的模型。GLUON基本特性：

• Gluon的特殊性是具有一個(gè)靈活的界面，簡(jiǎn)化了原型設(shè)計(jì)，構(gòu)建和培訓(xùn)深度學(xué)習(xí)模型，而不會(huì)犧牲學(xué)習(xí)速度。
• Gluon基于MXNet，提供簡(jiǎn)單的API，簡(jiǎn)化深度學(xué)習(xí)模型的創(chuàng)建。
• 與PyTorch類似，Gluon框架支持使用動(dòng)態(tài)圖表 ，將其與高性能MXNet相結(jié)合。從這個(gè)角度來看，Gluon看起來像是分布式計(jì)算的Keras非常有趣的替代品。

GLUON優(yōu)點(diǎn)：

• 在Gluon中，您可以使用簡(jiǎn)單，清晰和簡(jiǎn)潔的代碼定義神經(jīng)網(wǎng)絡(luò)。
• 它將訓(xùn)練算法和神經(jīng)網(wǎng)絡(luò)模型結(jié)合在一起，從而在不犧牲性能的情況下提供開發(fā)過程的靈活性。
• Gluon可以定義動(dòng)態(tài)的神經(jīng)網(wǎng)絡(luò)模型，這意味著它們可以動(dòng)態(tài)構(gòu)建，使用任何結(jié)構(gòu)，并使用Python的任何本機(jī)控制流。

SWIFT

當(dāng)你聽到Swift時(shí)，您可能會(huì)考慮iOS或MacOS的應(yīng)用程序開發(fā)。但是如果你正在學(xué)習(xí)深度學(xué)習(xí)，那么你一定聽說過Swens for Tensorflow。通過直接與通用編程語言集成，Swift for TensorFlow可以以前所未有的方式表達(dá)更強(qiáng)大的算法。SWIFT基本特性：

• 可以輕松獲得可微分的自定義數(shù)據(jù)結(jié)構(gòu)。
• 下一代API 。通過實(shí)踐和研究獲得的新API更易于使用且更強(qiáng)大。
• 在TensorFlow的基礎(chǔ)上 ，Swift API為您提供對(duì)所有底層TensorFlow運(yùn)算符的直接調(diào)用。
• 基于Jupyter、LLDB或者Swift in Colab的編程工具提高了您的工作效率。

SWIFT優(yōu)點(diǎn)：

• 如果動(dòng)態(tài)語言不適合您的任務(wù)，那么這將是一個(gè)很好的選擇。當(dāng)你訓(xùn)練運(yùn)行了幾個(gè)小時(shí)，然后你的程序遇到類型錯(cuò)誤，那么使用Swift，一種靜態(tài)類型語言。您將看到代碼錯(cuò)誤的地方。

Chainer

直到CMU的DyNet和Facebook的PyTorch出現(xiàn)之前，Chainer是動(dòng)態(tài)計(jì)算圖或網(wǎng)絡(luò)的領(lǐng)先神經(jīng)網(wǎng)絡(luò)框架，它允許輸入數(shù)據(jù)長(zhǎng)度不一致。chainer基本特性：

• Chainer代碼是在Numpy和CuPy庫的基礎(chǔ)之上用純Python編寫的， Chainer是第一個(gè)使用動(dòng)態(tài)架構(gòu)模型的框架。

Chainer優(yōu)點(diǎn)：

• 通過自己的基準(zhǔn)測(cè)試，Chainer明顯比其他面向Python的框架更快，TensorFlow是包含MxNet和CNTK的測(cè)試組中最慢的。
• 比TensorFlow更好的GPU和GPU數(shù)據(jù)中心性能。最近Chainer成為GPU數(shù)據(jù)中心性能的全球冠軍。

DL4J

那些使用Java或Scala的人應(yīng)該注意DL4J（Deep Learning for Java的簡(jiǎn)稱）。DL4J的基本特性：

• DL4J中的神經(jīng)網(wǎng)絡(luò)訓(xùn)練通過簇的迭代并行計(jì)算。
• 該過程由Hadoop和Spark架構(gòu)支持。
• 使用Java允許您在Android設(shè)備的程序開發(fā)周期中使用。

DL4J優(yōu)點(diǎn)：

• 如果您正在尋找一個(gè)良好的Java深度學(xué)習(xí)框架，這會(huì)是一個(gè)非常好的平臺(tái)。

ONNX

ONNX項(xiàng)目誕生于微軟和Facebook，旨在尋找深度學(xué)習(xí)模型呈現(xiàn)的開放格式。ONNX簡(jiǎn)化了在人工智能的不同工作方式之間傳遞模型的過程。因此ONNX具有各種深度學(xué)習(xí)框架的優(yōu)點(diǎn)。

ONNX基本特性：

• ONNX使模型能夠在一個(gè)框架中進(jìn)行訓(xùn)練并轉(zhuǎn)移到另一個(gè)框架中進(jìn)行推理。ONNX模型目前在Caffe2，Microsoft Cognitive Toolkit，MXNet和PyTorch中得到支持，并且還有許多其他常見框架和庫的連接器。

ONNX優(yōu)點(diǎn)：

• 對(duì)于PyTorch開發(fā)人員來說，ONNX是一個(gè)好的選擇。但是對(duì)于那些喜歡TensorFlow的人來說，Keras等可能好一點(diǎn)。

總結(jié)

那么您應(yīng)該使用哪種深度學(xué)習(xí)框架？下面是幾點(diǎn)建議：

• 如果你剛剛開始學(xué)習(xí)，那么最好的選擇是Keras 。
• 出于研究目的，請(qǐng)選擇PyTorch 。
• 對(duì)于生產(chǎn)，您需要關(guān)注環(huán)境。因此對(duì)于Google Cloud，最好的選擇是TensorFlow ，適用于AWS - MXNet和Gluon 。
• Android開發(fā)人員應(yīng)該關(guān)注D4LJ ，對(duì)于iOS來說， Core ML會(huì)破壞類似的任務(wù)范圍。
• 最后， ONNX將幫助解決不同框架之間的交互問題。