まえがき 2025/3/15(土)、滅多に週末外に出ることがない私は珍しく大阪・難波に遠征していた。舞台版邪神ちゃんを見に行くためである。 せっかく難波に行くのであればということで、ほとんど期待はせずにRTX5090を探しながらPCパーツ屋を巡っていた。 RX9070やRTX5080は普通に在庫している店舗があり、ちょっとは流通改善しているんだなーなどと思いながらもRTX5090はない。流石にあるわけないと思っていたのだが、ジョーシンに2枚のRTX5090、MSIのVANGUARDとSUPRIM LIQUIDが売られているではないか！価格は前者が52万、後者は58万円とMSIの希望小売価格であ…

まえがき 2020年のK40m購入から始まり、GPUをP40にしたりサーバー用マザボを導入したりMI50を試してみたりと徐々に進化を続けてきたホームラボ環境。 hashicco.hatenablog.com またふとebayを見ていると、なんと300ドルで48コア、しかもZen2のCPUが売られているのを発見。 型番はEPYC 7K62と見たことのない命名ルールで、どうやらAMDのEPYC 7642のOEM版のようだ。 https://www.reddit.com/r/homelab/comments/1dssl0m/which_motherboards_support_epyc_rome_7…

概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました！これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がしないので遠い道のりです……。 www.kaggle.com このコンペについて、近い内に同様のコンペが開催予定なこともあり上位解法があまり出ていない状態なので、どのような手法が良かったのかまだわかっていないのですが、とりあえず公開されている情報を元にすると、 LLMとしてはほぼほぼ全員が数学問題に特化したLLMであるDeepseek-Ma…

概要 Whisperなどで日本語の文字起こしをした後の文章にほとんど句読点が入っておらず、そのまま文字起こし文章を結合すると利用しにくいことがありました。 そこで何らかの手法で句読点を挿入したいと思ったのですが意外と手軽な古典的な手法が見つかりませんでした。このようなタスクはpunctuation restorationと呼ばれるタスクのようです。 ちょっと調べて見つかったのは次のような日本語BERTモデルのMask Fillを逐語的に適応していく方法でした。 qiita.com この手法でもできなくはないのですが思ったほど精度が良くないこと、さらに処理時間が文章の長さに比例してだんだん無視で…

まえがき ROCmを試すためにRadeon Instinct MI50を買ってみて、PyTorchで使えるようにセットアップをしたのが前回。 hashicco.hatenablog.com 今回は取ったベンチマークの結果をご紹介！ まとめ ROCmは本当にほぼコード変更無しでCUDA用のTensorFlow、PyTorch、Transformerのコードが動く。素晴らしい。 1GPUであればMI50のほうがP40よりも速い。特にFP16を利用する場合は4割くらい早く、結構実用的。 2GPUだとあまりまともな速度が出ない。処理速度に波があるような挙動を示すため、Gradientの集約に時間がかか…

まえがき しばらく大きな買い物をしていなかったが、仕事からの現実逃避をしているとふと思う。「ROCm、試してみたいなー」 ということで、ebayを開きめぼしいGPUを探してみたところ、$200以下のお手頃価格で一応ギリギリ最新のROCm 6.0.2にもメンテナンスサポートされているMI50を発見。 送料も考えて2枚まとめて買ってみたので、数回に分けてROCmのインストールから機械学習用の環境構築、以前に買った同価格帯の中古サーバー用GPUの先輩であるNVIDIA P40との比較までを書いていこうと思う。 今回はセットアップ編ということで、取り付けとROCmインストールでrocm-smiが動くと…

結論 今回は結論のみ。 WSL2上でPyTorch/TensorFlowで画像モデルのトレーニングを行う際に、データローダーをマルチスレッドで動かすと、トレーニングがハングする現象が発生しました。 ある程度のイテレーションは学習が進むのですが、途中で突然プログレスバーが全く進まなくなるという感じの挙動です。 私のケースではWSL2がWindowsのディレクトリ(/mnt/c 以下)にアクセスする際のパフォーマンス問題によって起こった現象のようでした。なんとなくキャッシュと言うかスクラッチ領域みたいなのがあって、それを超えた読み書きが行われると止まる、みたいな挙動に見えます。 類似の現象は以下の…

まえがき 時の流れは早いもので、もう2024年になってしまったようです。 最近はKaggleやら実践的な個人活動は一先ずお休みし、社会人5年目になる前に一旦基礎固めし直そうと線形代数/解析学/統計の勉強をしたり新しく出たBishop本を読んだりしており、あまりアウトプットするものがありませんでした。 bishopbook.com 物買ったネタもEPYC買ったり、オールフラッシュNASを作ったり好き勝手した結果欲しい物が無くなってしまったので、本当にブログに書く内容がない状態。 とはいえたまには書いとかないとアレなので、ちょっとした小ネタで更新しておきます。 最近ちょっとあったケースで、既存の2…

まえがき 言語モデルを自分でガッツリ使う経験が今まで無かったので、勉強がてら先週火曜日まで開催されていたKaggle - LLM Science Exam というコンペに参加してました。 www.kaggle.com そこそこ頑張った結果、過去最高の成績(49th/2663, Top2%)を取ることができ、銀メダルを取ることができた。SolutionなどはKaggleの方に書いたのでそちらを。 www.kaggle.com で、この記事で触れるのは、今まで機械学習モデルのトレーニングにはPyTorchの標準的なやり方(ループ内で推論してloss計算してloss.backward()で逆伝播させ…

まえがき Ryzen8 7950X3Dを買ったのがちょうど半年前になるのだが、CPUクーラーは5600X用に購入したScytheの忍者5を流用して使っていた。 忍者5は非常に静かで安い割にそこそこ冷えるのでお気に入りであったのだが、流石に7950X3Dを冷やすには不十分でCinebenchを回すときにサーマルスロットリングに引っかかっているのが気がかりだった。 今年のComputexでNoctuaの次世代NH-D15が発表されたのでこれが出たら買い換えようと思っていたのだが、発売は来年第2四半期予定とのことでちょっと先の話になりそう。 そろそろPCの掃除がてらクーラーを交換したいというところで…

前記事: hashicco.hatenablog.com 前書き 前記事において、P40を買い増して機械学習用マシンをマルチGPUにした。 しかし、普通のRyzenで構成していたがために、PCIeの帯域が足りず片方のGPUがx4接続になってしまっていたのが若干心残りとなっていた。 そこで、EPYCとSupermicroのマザーを中古で買ってみたという話。 まともな帯域とセッティングで2GPUを接続してベンチを取ってみたところ、そこそこマルチGPUの良さが見えてきたので本記事に記しておく。 まとめ 今回購入したのは1ソケット用32Coreの初代Zen 7551Pと対応マザーSupermicro …

前記事： hashicco.hatenablog.com 概要 きっかけは、llama2の13BモデルがシングルGPUでは動かなかったこと。 以前記事にした鯖落ちP40を利用して作った機械学習用マシンですが、最近分析界隈でも当たり前のように使われ始めているLLMを動かすことを考えると、GPUはなんぼあってもいい状況です。 また、私自身マルチGPUを扱った経験が薄く、精々SageMaker上でPyTorchのDPでお手軽マルチGPUトレーニングをやったことがある程度。今後大きなモデルを扱っていくことを考えると、お家でマルチGPUを試せる環境を準備しとくのは悪くないと思ってしまった。 そこで、P4…

概要 我が家には10GbE搭載のQNAP TS-332XというNASを導入済みである。8TBのHDD2枚でRAID1を組んでおり、10Gの速度を活かすためにリード/ライトのSSDがキャッシュを設定している。 https://www.qnap.com/ja-jp/product/ts-332x hashicco.hatenablog.com 単なるデータ倉庫としての用途だったので特に性能的にも不満はなく、HDDも稼働時間を1000日超えても快調に動いてくれていたのですが、最近あまりにもSSDが安すぎてオールフラッシュにしたい欲が浮き上がっては消えていく。 そんな折、ASUSUTORから興味深い製…

概要 最近久しぶりにKaggleに復帰して、Image Matching Challenge 2023というコンペに参加しました。結果、92位/464グループ という成績でギリギリ銅メダルを獲得でき、晴れてKaggle Competitions Expert(コンペで銅メダル以上2個獲得)となることができました。 アイコン周りの表示も紫色になってちょっと嬉しい Kaggleを始めたのは2022年の4月くらいですが、ここ半年くらい何故かTypeScriptの勉強と称してLeetCodeに時間を割り当てていた時期があったので、実質半年くらいのKaggle歴です。 実は1つ目の銅メダルも昨年のIma…

背景 このブログを始めた2020年頃に、NVIDIA Tesla K40mを使った安価な機械学習用GPUマシンを紹介した。 hashicco.hatenablog.com その後このマシンは勉強用に色々と活用していたのだが、2020年時点でもアーキテクチャが Kepler (Compute Capavility 3.5) と古く、何より計算スピードが遅すぎてKaggleなどでの活用が難しい問題があり、 結局Google Colab ProやKaggle Notebookをメインで使っていた。 更に、最近はRTX4090をメインマシンに導入したこともあり、このK40mマシンの出番はほぼなくなって…

この間PCを新調したばかりなのだが、ちょっとしたトラブル。 以前も別記事でXit Wirelessをチューナとして使っていることを書いたが、またXit Wirelessでのコンテンツ視聴ができなくなった。 hashicco.hatenablog.com 今回は依存DLLの不足ではなく、起動まではうまくいくものの、コンテンツ保護エラーが出てTV/録画番組の視聴ができないという症状。 音声出力を確認しろ、とのことだったので音声をマザボの光デジタル出力からモニター(HDMI接続)に買えてみると、確かに問題なく再生される。 前のPCでは特に問題なくマザボの光デジタル出力でも視聴ができていたので奇妙に思…

概要 ブログでもちょこちょこ書いているように、GPU(RX6900XT→RTX4090)、CPU(5600X→5800X3D)などメインマシンのパーツを割りと頻繁に変えながら使ってきたのだが、マザボやCドライブの変更を伴わなかったので1年半近くOSをクリーンインストールしていなかった。 Win11もそろそろ安定してきた頃だろうし、昨年末AMDのZen4世代の7000番代CPUやIntelの13世代CPUが登場しチップセットやメモリの世代も新しくなったし、OS入れ替えのついでというのを言い訳にPCの更新をすることに。 5800X3Dで3D-Vcacheの威力を思い知っていたので、他のパーツをディ…

概要 ほぼタイトル通り。PyTorchのDataLoaderではnum_workersを指定したときの並列化のために、裏側でmultiprocessingを使っていることが原因のようです。 Windowsにおいてmultiprocessingはif __name__=="__main__"ブロックの中で実行されることが想定されているため、Jupyterのセル中でmultiprocessingの子プロセスをSpawnしようとするとエラーが出ます。 で、このエラーは子プロセスの方で発生しているためか、Jupyterの方ではエラーが出現せずずっとセル横の表示が*のままとなり、あたかも実行中のように思…

内容 最近少しkaggleをお休みしTypeScriptを勉強していたり、仕事でもほとんどPyTorchしか使っていなかったりでTensorFlowの動向を追っていなかったのだが、ちょっとした衝撃的なニュースを今日知った。なんとタイトルの通り、TensorFlowの最新版2.11.0(2022年11月18日リリース)からはWindowsのGPU用ビルドが提供されず、サードパーティ(Intel)によるCPU用のwhlのみが提供されるとのこと。 github.com TF pip: Windows CPU-builds for x86/x64 processors are now built, m…

概要 今までG600→Naga Pro→Aerox9と無線化を求めて横12ボタンマウスを試して来たのだが、Naga Proはサイドボタンの不安定さ、Aerox9はサイドボタンの配置の合わなさから、結局G600から乗り換えることができずにいた。 そんな折、Razerから新たな無線MMOマウス発売の報が。しかも2つも。 1つがNaga Pro V2。こちらはサイドパネルの付替えで2,6,12ボタンと複数のゲームに対応可能できるようになる、Naga Proシリーズの新作。ただ、値段が3万以上もする上に、前作のNaga Proは肝心の12ボタンモードで接触不良っぽい症状が頻発し、あまり良い印象がない。…