想詢問LSTM訓練的問題為何最後要concat
2021/03/11 上午 01:26
遞迴神經網路：認識 LSTM / GRU / BiRNN
eating
觀看數：72
回答數：2
收藏數：0
Hi 想請教一個CODE的問題 為何課程的LSTM 模型再訓練時要做： hidden = self.dropout(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim = 1)) 這個動作 他代表的意義是？ 再麻煩結答了！ 感謝！
回答列表
-
2021/03/13 下午 09:45張維元 (WeiYuan)贊同數：0不贊同數：0留言數：1
嗨，你好
LSTM 會把前一個跟前前一個狀態接起來。
嗨，你好，我是維元，持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流，都可以追蹤 我的粉絲專頁 ヽ(●´∀`●)ﾉ
-
2021/03/14 下午 11:18eating贊同數：0不贊同數：0留言數：0
Hi, 我這樣看code下來，我覺得不太像是'LSTM 會把前一個跟前前一個狀態接起來。'這樣的情況， 我看了注釋後，num_directions應是代表是雙向LSTM或單向的LSTM，若是雙向的應該才要做concat hidden[-1, : , :] 與 hidden[-2,:,:]的情況，因為一個是backword另一個是forward的結果，這邊若是單向LSTM是否取hidden[-1,:,:]即可？ 若是這樣，課程範例單向LSTM是否應該為 hidden = self.dropout(hidden[-1,:,:])) 即可 或是我理解有誤 再麻煩解答一下 我是看這篇網路的講解： https://colab.research.google.com/github/bentrevett/pytorch-sentiment-analysis/blob/master/2%20-%20Upgraded%20Sentiment%20Analysis.ipynb#scrollTo=nNaseJxfN2z4 謝謝