論文メモ⑤:Reducing Transformer Depth on Demand with Structured Dropout
論文の情報 Reducing Transformer Depth on Demand with Structured Dropout 論文リンク: https://arxiv.org/abs/1909.11556 被引用数(2021年8月時点): 142 採択日: 25 Sep 2019 リンク:https://ai-scholar.tech/articles/dropout/LayerDrop 一言まとめ Dropoutは深層学習を用いる際にほぼ必ずと言っていいほど使われる技術である。Dropoutとは一般的にノード間の重みを無視することを指すが、本論文ではノード間の重みではなく層全体をDr…
2021/08/09 02:24
