1）sigmoid：將輸出實值壓縮到0-1之間。 缺點：（輸入非常大或非常小的時候）容易梯度消失；sigmoid函數(shù)是非0均值的，下一層的神經(jīng)元將從上一層神經(jīng)元得到的非0 均值的信號作為輸入，再結(jié)合w計算梯度，始終都是正的。（可根據(jù)batch調(diào)節(jié)）

2）Tanh：是0均值的。

3）Relu（修正線性單元）：好處：收斂快，求梯度簡單。具有稀疏特性。

（相比于sigmoid：sigmoid反向傳播求誤差梯度時，求導(dǎo)計算量很大，而relu求導(dǎo)簡單；對于深層網(wǎng)絡(luò)，sigmoid反向傳播時，在sigmoid接近飽和區(qū)時，變換太緩慢，導(dǎo)數(shù)趨0，從而無法完成深層網(wǎng)絡(luò)的訓(xùn)練；Relu會使一部分神經(jīng)元的輸出為0，造成了網(wǎng)絡(luò)的稀疏性，并且減少了參數(shù)的相互依存關(guān)系，緩解了過擬合問題。）

缺點：訓(xùn)練的時候很脆弱，一個非常大的梯度流過一個Relu神經(jīng)元后，不會對其他數(shù)據(jù)有激活現(xiàn)象了，設(shè)置較小的學(xué)習(xí)率，這種情況會不那么頻繁。