Pre-Trained Models: Past, Present and Future #1

2021/6/15 に公開されたTransformerに関するサーベイ論文の意訳です。 今回はAbstract、introductionです。 Abstract BERT や GPT などの大規模な学習済みモデル（PTM）は、近年大きな成功を収めており、人工知能（AI） 分野におけるマイルストーンとなっています。大規模な事前学習モデル（PTM）は、BERTやGPTのように、近年、人工知能（AI）の分野で大きな成功を収めています。洗練された事前学習の目的と巨大なモデルパラメータにより、大規模なPTMは、大量のラベル付きおよびラベルなしのデータから知識を効果的に取り込むことができます。 巨大なパラ…

Transformer

NLP Vision note.com Attention toaruol.hatenablog.jp

Attention

【論文】"Attention is all you need"の解説 Attention is all you need https://arxiv.org/pdf/1706.03762.pdf Neural Machine Translation by Jointly Learning to Align and Translate https://arxiv.org/pdf/1409.0473.pdf