logo
Loading...

想詢問LSTM訓練的問題為何最後要concat - Cupoy

Hi 想請教一個CODE的問題為何課程的LSTM 模型再訓練時要做:hidden = self.dr...

想詢問LSTM訓練的問題為何最後要concat

2021/03/11 上午 01:26
eating
觀看數:44
回答數:2
收藏數:0

Hi 想請教一個CODE的問題 為何課程的LSTM 模型再訓練時要做: hidden = self.dropout(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim = 1)) 這個動作 他代表的意義是? 再麻煩結答了! 感謝!

回答列表

  • 2021/03/13 下午 09:45
    張維元 (WeiYuan)
    贊同數:0
    不贊同數:0
    留言數:1

    嗨,你好
    LSTM 會把前一個跟前前一個狀態接起來。

    嗨,你好,我是維元,持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流,都可以追蹤 我的粉絲專頁 ヽ(●´∀`●)ノ

  • 2021/03/14 下午 11:18
    eating
    贊同數:0
    不贊同數:0
    留言數:0

    Hi, 我這樣看code下來,我覺得不太像是'LSTM 會把前一個跟前前一個狀態接起來。'這樣的情況, 我看了注釋後,num_directions應是代表是雙向LSTM或單向的LSTM,若是雙向的應該才要做concat hidden[-1, : , :] 與 hidden[-2,:,:]的情況,因為一個是backword另一個是forward的結果,這邊若是單向LSTM是否取hidden[-1,:,:]即可? 若是這樣,課程範例單向LSTM是否應該為 hidden = self.dropout(hidden[-1,:,:])) 即可 或是我理解有誤 再麻煩解答一下 我是看這篇網路的講解: https://colab.research.google.com/github/bentrevett/pytorch-sentiment-analysis/blob/master/2%20-%20Upgraded%20Sentiment%20Analysis.ipynb#scrollTo=nNaseJxfN2z4 謝謝