句読点のない日本語の文章に句読点を挿入するBERTモデルを作る

概要 Whisperなどで日本語の文字起こしをした後の文章にほとんど句読点が入っておらず、そのまま文字起こし文章を結合すると利用しにくいことがありました。 そこで何らかの手法で句読点を挿入したいと思ったのですが意外と手軽な古典的な手法が見つかりませんでした。このようなタスクはpunctuation restorationと呼ばれるタスクのようです。 ちょっと調べて見つかったのは次のような日本語BERTモデルのMask Fillを逐語的に適応していく方法でした。 qiita.com この手法でもできなくはないのですが思ったほど精度が良くないこと、さらに処理時間が文章の長さに比例してだんだん無視で…

【ベンチマーク編】 Radeon Instinct MI50を買って機械学習用に使ってみる【ROCm】

まえがき ROCmを試すためにRadeon Instinct MI50を買ってみて、PyTorchで使えるようにセットアップをしたのが前回。 hashicco.hatenablog.com 今回は取ったベンチマークの結果をご紹介！ まとめ ROCmは本当にほぼコード変更無しでCUDA用のTensorFlow、PyTorch、Transformerのコードが動く。素晴らしい。 1GPUであればMI50のほうがP40よりも速い。特にFP16を利用する場合は4割くらい早く、結構実用的。 2GPUだとあまりまともな速度が出ない。処理速度に波があるような挙動を示すため、Gradientの集約に時間がかか…

【セットアップ編】Radeon Instinct MI50を買って機械学習用に使ってみる【ROCm】

まえがき しばらく大きな買い物をしていなかったが、仕事からの現実逃避をしているとふと思う。「ROCm、試してみたいなー」 ということで、ebayを開きめぼしいGPUを探してみたところ、$200以下のお手頃価格で一応ギリギリ最新のROCm 6.0.2にもメンテナンスサポートされているMI50を発見。 送料も考えて2枚まとめて買ってみたので、数回に分けてROCmのインストールから機械学習用の環境構築、以前に買った同価格帯の中古サーバー用GPUの先輩であるNVIDIA P40との比較までを書いていこうと思う。 今回はセットアップ編ということで、取り付けとROCmインストールでrocm-smiが動くと…

PyTorch/TensorFlowのトレーニング時にWSL2がハングする現象

結論 今回は結論のみ。 WSL2上でPyTorch/TensorFlowで画像モデルのトレーニングを行う際に、データローダーをマルチスレッドで動かすと、トレーニングがハングする現象が発生しました。 ある程度のイテレーションは学習が進むのですが、途中で突然プログレスバーが全く進まなくなるという感じの挙動です。 私のケースではWSL2がWindowsのディレクトリ(/mnt/c 以下)にアクセスする際のパフォーマンス問題によって起こった現象のようでした。なんとなくキャッシュと言うかスクラッチ領域みたいなのがあって、それを超えた読み書きが行われると止まる、みたいな挙動に見えます。 類似の現象は以下の…

【PyTorch小ネタ】 複数モデルを組み合わせたモデルにおいて別々のPretrained Weightを読み込む方法

まえがき 時の流れは早いもので、もう2024年になってしまったようです。 最近はKaggleやら実践的な個人活動は一先ずお休みし、社会人5年目になる前に一旦基礎固めし直そうと線形代数/解析学/統計の勉強をしたり新しく出たBishop本を読んだりしており、あまりアウトプットするものがありませんでした。 bishopbook.com 物買ったネタもEPYC買ったり、オールフラッシュNASを作ったり好き勝手した結果欲しい物が無くなってしまったので、本当にブログに書く内容がない状態。 とはいえたまには書いとかないとアレなので、ちょっとした小ネタで更新しておきます。 最近ちょっとあったケースで、既存の2…

Transformers Trainerを使ってみて分かりにくかった仕様など

まえがき 言語モデルを自分でガッツリ使う経験が今まで無かったので、勉強がてら先週火曜日まで開催されていたKaggle - LLM Science Exam というコンペに参加してました。 www.kaggle.com そこそこ頑張った結果、過去最高の成績(49th/2663, Top2%)を取ることができ、銀メダルを取ることができた。SolutionなどはKaggleの方に書いたのでそちらを。 www.kaggle.com で、この記事で触れるのは、今まで機械学習モデルのトレーニングにはPyTorchの標準的なやり方(ループ内で推論してloss計算してloss.backward()で逆伝播させ…

Ryzen9 7950X3D用にAssassin IVを買ってみた

まえがき Ryzen8 7950X3Dを買ったのがちょうど半年前になるのだが、CPUクーラーは5600X用に購入したScytheの忍者5を流用して使っていた。 忍者5は非常に静かで安い割にそこそこ冷えるのでお気に入りであったのだが、流石に7950X3Dを冷やすには不十分でCinebenchを回すときにサーマルスロットリングに引っかかっているのが気がかりだった。 今年のComputexでNoctuaの次世代NH-D15が発表されたのでこれが出たら買い換えようと思っていたのだが、発売は来年第2四半期予定とのことでちょっと先の話になりそう。 そろそろPCの掃除がてらクーラーを交換したいというところで…

【続・続】鯖落ちGPUを使った安価な機械学習用マシンの作り方 ～憧れのEPYCを購入して機械学習用マシンを完全体にする編～

前記事: hashicco.hatenablog.com 前書き 前記事において、P40を買い増して機械学習用マシンをマルチGPUにした。 しかし、普通のRyzenで構成していたがために、PCIeの帯域が足りず片方のGPUがx4接続になってしまっていたのが若干心残りとなっていた。 そこで、EPYCとSupermicroのマザーを中古で買ってみたという話。 まともな帯域とセッティングで2GPUを接続してベンチを取ってみたところ、そこそこマルチGPUの良さが見えてきたので本記事に記しておく。 まとめ 今回購入したのは1ソケット用32Coreの初代Zen 7551Pと対応マザーSupermicro …

【続】鯖落ちGPUを使った安価な機械学習用マシンの作り方 ～夢のマルチGPU環境にしてみる編～

前記事： hashicco.hatenablog.com 概要 きっかけは、llama2の13BモデルがシングルGPUでは動かなかったこと。 以前記事にした鯖落ちP40を利用して作った機械学習用マシンですが、最近分析界隈でも当たり前のように使われ始めているLLMを動かすことを考えると、GPUはなんぼあってもいい状況です。 また、私自身マルチGPUを扱った経験が薄く、精々SageMaker上でPyTorchのDPでお手軽マルチGPUトレーニングをやったことがある程度。今後大きなモデルを扱っていくことを考えると、お家でマルチGPUを試せる環境を準備しとくのは悪くないと思ってしまった。 そこで、P4…

最近SSDが安いのでオールフラッシュNASを導入した(ASUSUTOR FS6712X)

概要 我が家には10GbE搭載のQNAP TS-332XというNASを導入済みである。8TBのHDD2枚でRAID1を組んでおり、10Gの速度を活かすためにリード/ライトのSSDがキャッシュを設定している。 https://www.qnap.com/ja-jp/product/ts-332x hashicco.hatenablog.com 単なるデータ倉庫としての用途だったので特に性能的にも不満はなく、HDDも稼働時間を1000日超えても快調に動いてくれていたのですが、最近あまりにもSSDが安すぎてオールフラッシュにしたい欲が浮き上がっては消えていく。 そんな折、ASUSUTORから興味深い製…

【IMC2023】KaggleでなんやかんやあってExpertになれた話

概要 最近久しぶりにKaggleに復帰して、Image Matching Challenge 2023というコンペに参加しました。結果、92位/464グループ という成績でギリギリ銅メダルを獲得でき、晴れてKaggle Competitions Expert(コンペで銅メダル以上2個獲得)となることができました。 アイコン周りの表示も紫色になってちょっと嬉しい Kaggleを始めたのは2022年の4月くらいですが、ここ半年くらい何故かTypeScriptの勉強と称してLeetCodeに時間を割り当てていた時期があったので、実質半年くらいのKaggle歴です。 実は1つ目の銅メダルも昨年のIma…

【2023年最新版】 鯖落ちGPUを使った安価な機械学習用マシンの作り方

背景 このブログを始めた2020年頃に、NVIDIA Tesla K40mを使った安価な機械学習用GPUマシンを紹介した。 hashicco.hatenablog.com その後このマシンは勉強用に色々と活用していたのだが、2020年時点でもアーキテクチャが Kepler (Compute Capavility 3.5) と古く、何より計算スピードが遅すぎてKaggleなどでの活用が難しい問題があり、 結局Google Colab ProやKaggle Notebookをメインで使っていた。 更に、最近はRTX4090をメインマシンに導入したこともあり、このK40mマシンの出番はほぼなくなって…

Xit WirelessはサウンドチップALC4080から音を出せないっぽい

この間PCを新調したばかりなのだが、ちょっとしたトラブル。 以前も別記事でXit Wirelessをチューナとして使っていることを書いたが、またXit Wirelessでのコンテンツ視聴ができなくなった。 hashicco.hatenablog.com 今回は依存DLLの不足ではなく、起動まではうまくいくものの、コンテンツ保護エラーが出てTV/録画番組の視聴ができないという症状。 音声出力を確認しろ、とのことだったので音声をマザボの光デジタル出力からモニター(HDMI接続)に買えてみると、確かに問題なく再生される。 前のPCでは特に問題なくマザボの光デジタル出力でも視聴ができていたので奇妙に思…

7950X3Dを買ったのでCCD毎のベンチとか取ってみた

概要 ブログでもちょこちょこ書いているように、GPU(RX6900XT→RTX4090)、CPU(5600X→5800X3D)などメインマシンのパーツを割りと頻繁に変えながら使ってきたのだが、マザボやCドライブの変更を伴わなかったので1年半近くOSをクリーンインストールしていなかった。 Win11もそろそろ安定してきた頃だろうし、昨年末AMDのZen4世代の7000番代CPUやIntelの13世代CPUが登場しチップセットやメモリの世代も新しくなったし、OS入れ替えのついでというのを言い訳にPCの更新をすることに。 5800X3Dで3D-Vcacheの威力を思い知っていたので、他のパーツをディ…

WindowsのPyTorch + JupyterにおいてDataLoaderの`num_workers`の数を指定するとハングする(ように見える)

概要 ほぼタイトル通り。PyTorchのDataLoaderではnum_workersを指定したときの並列化のために、裏側でmultiprocessingを使っていることが原因のようです。 Windowsにおいてmultiprocessingはif __name__=="__main__"ブロックの中で実行されることが想定されているため、Jupyterのセル中でmultiprocessingの子プロセスをSpawnしようとするとエラーが出ます。 で、このエラーは子プロセスの方で発生しているためか、Jupyterの方ではエラーが出現せずずっとセル横の表示が*のままとなり、あたかも実行中のように思…

TensorFlow2.11からはWindows用のGPU対応ビルドがpipで配布されないらしい

内容 最近少しkaggleをお休みしTypeScriptを勉強していたり、仕事でもほとんどPyTorchしか使っていなかったりでTensorFlowの動向を追っていなかったのだが、ちょっとした衝撃的なニュースを今日知った。なんとタイトルの通り、TensorFlowの最新版2.11.0(2022年11月18日リリース)からはWindowsのGPU用ビルドが提供されず、サードパーティ(Intel)によるCPU用のwhlのみが提供されるとのこと。 github.com TF pip: Windows CPU-builds for x86/x64 processors are now built, m…

また出た！新たなる無線MMOマウスの選択肢 Razer Naga V2 Hyperspeedを買った

概要 今までG600→Naga Pro→Aerox9と無線化を求めて横12ボタンマウスを試して来たのだが、Naga Proはサイドボタンの不安定さ、Aerox9はサイドボタンの配置の合わなさから、結局G600から乗り換えることができずにいた。 そんな折、Razerから新たな無線MMOマウス発売の報が。しかも2つも。 1つがNaga Pro V2。こちらはサイドパネルの付替えで2,6,12ボタンと複数のゲームに対応可能できるようになる、Naga Proシリーズの新作。ただ、値段が3万以上もする上に、前作のNaga Proは肝心の12ボタンモードで接触不良っぽい症状が頻発し、あまり良い印象がない。…

RTX4090の機械学習性能を確かめるため`ai-benchmark`をやってみた

概要 タイトル通り、先日購入したRTX4090の機械学習性能を測定するために、ai-benchmarkなるものを取ってみた。 測定したマシンや買ったRTX4090の詳細等は過去記事参照のこと。 hashicco.hatenablog.com まとめ スコアは次の通り。 Device Inference Score: 22918 Device Training Score: 27077 Device AI Score: 49995 公式HP(https://ai-benchmark.com/ranking_deeplearning.html)に載っているランキングでは最高スコアなのがV100で、…

ZotacのRTX4090を買ったのでゲーム性能＋ちょっとだけ機械学習性能を確かめてみた

概要 2年ぶりに訪れたコンシューマ向け新世代GPUの発売シーズン。その第一弾であるNVIDIAのRTX4090が先日2022/10/12に解禁された。 前回のRTX30xx、RX6000シリーズの発売時には、初日の争奪戦で破れちょっとした後にRTX3080を買い、その後VRAM容量を求めてRX6900XTに買い替えた。 しかし、RadeonだとCUDAが使えないので機械学習用途に利用するのに非常な困難がある。本ブログでも紹介したTensorflow-DirectMLは素晴らしいプロジェクトではあるものの、未だ実用に耐えうるほどのものではない。 KaggleやGoogle Colabはタダor安…

横12ボタン無線マウスの新作 SteelSeriesのAerox9を買ったのでNaga Pro, G600と比較する【FF14】

概要 少し前、SteelSeriesから横12ボタンのMMO用無線マウスが新発売された。前から出ているのは気づいていたのだが、値段が高いしG600もRazer Naga Proも持っているので買わなかった。 akiba-pc.watch.impress.co.jp 今回アマゾンのタイムセール祭りで税込み16000円かつ10パーオフクーポンかつポイントアップが重なって割とお買い得に感じたので、大した必要性はなかったが買ってみた。 軽くコンテンツに行きながら使用感を確かめてみたので、定番のG600, 無線12ボタンマウスの先輩Naga Proと比較レビューしてみる。 まとめ 値段は G600 < …