2020-07-12
閱讀量:
1866
長短時記憶網(wǎng)絡(luò)(Long Short Term Memory Network, LSTM)
長短時記憶網(wǎng)絡(luò)(Long Short Term Memory Network, LSTM),是一種改進(jìn)之后的循環(huán)神經(jīng)網(wǎng)絡(luò),可以解決RNN無法處理長距離的依賴的問題,目前比較流行。
長短時記憶網(wǎng)絡(luò)的思路:
原始 RNN 的隱藏層只有一個狀態(tài),即h,它對于短期的輸入非常敏感。
再增加一個狀態(tài),即c,讓它來保存長期的狀態(tài),稱為單元狀態(tài)(cell state)。
把上圖按照時間維度展開:
在 t 時刻,LSTM 的輸入有三個:當(dāng)前時刻網(wǎng)絡(luò)的輸入值 x_t、上一時刻 LSTM 的輸出值 h_t-1、以及上一時刻的單元狀態(tài) c_t-1;
LSTM 的輸出有兩個:當(dāng)前時刻 LSTM 輸出值 h_t、和當(dāng)前時刻的單元狀態(tài) c_t.






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
1條評論
0條評論
0條評論