Pre-Trained Models: Past, Present and Future #1
2021/6/15 に公開されたTransformerに関するサーベイ論文の意訳です。 今回はAbstract、introductionです。 Abstract BERT や GPT などの大規模な学習済みモデル（PTM）は、近年大きな成功を収めており、人工知能（AI） 分野におけるマイルストーンとなっています。大規模な事前学習モデル（PTM）は、BERTやGPTのように、近年、人工知能（AI）の分野で大きな成功を収めています。洗練された事前学習の目的と巨大なモデルパラメータにより、大規模なPTMは、大量のラベル付きおよびラベルなしのデータから知識を効果的に取り込むことができます。 巨大なパラ…
2021/07/10 16:03
