汎用言語モデルBERTのpre-trainingを試す[NLP][BERT]
本記事では,2018年秋に登場し話題になったBERTのpre-trainingをとりあえず動かしてみるまでをレポート. 今回は,google-researchのリポジトリのサンプルテキストを使って動かすまでを紹介する.今後,自作のテキストを使ってpre-trainingする予定があるので,その布石として手順を残す. BERTの実行環境を整える 過去書いた下の記事を参考に実行環境を整備する. vastee.hatenablog.com BERTのpre-trainingを実行 今回は,bertフォルダ内にあるsample.txtと$BERT_BASE_DIR/vocab.txtを使う. samp…
2019/05/28 16:01