句読点のない日本語の文章に句読点を挿入するBERTモデルを作る

概要 Whisperなどで日本語の文字起こしをした後の文章にほとんど句読点が入っておらず、そのまま文字起こし文章を結合すると利用しにくいことがありました。 そこで何らかの手法で句読点を挿入したいと思ったのですが意外と手軽な古典的な手法が見つかりませんでした。このようなタスクはpunctuation restorationと呼ばれるタスクのようです。 ちょっと調べて見つかったのは次のような日本語BERTモデルのMask Fillを逐語的に適応していく方法でした。 qiita.com この手法でもできなくはないのですが思ったほど精度が良くないこと、さらに処理時間が文章の長さに比例してだんだん無視で…

【ベンチマーク編】 Radeon Instinct MI50を買って機械学習用に使ってみる【ROCm】

まえがき ROCmを試すためにRadeon Instinct MI50を買ってみて、PyTorchで使えるようにセットアップをしたのが前回。 hashicco.hatenablog.com 今回は取ったベンチマークの結果をご紹介！ まとめ ROCmは本当にほぼコード変更無しでCUDA用のTensorFlow、PyTorch、Transformerのコードが動く。素晴らしい。 1GPUであればMI50のほうがP40よりも速い。特にFP16を利用する場合は4割くらい早く、結構実用的。 2GPUだとあまりまともな速度が出ない。処理速度に波があるような挙動を示すため、Gradientの集約に時間がかか…

【セットアップ編】Radeon Instinct MI50を買って機械学習用に使ってみる【ROCm】

まえがき しばらく大きな買い物をしていなかったが、仕事からの現実逃避をしているとふと思う。「ROCm、試してみたいなー」 ということで、ebayを開きめぼしいGPUを探してみたところ、$200以下のお手頃価格で一応ギリギリ最新のROCm 6.0.2にもメンテナンスサポートされているMI50を発見。 送料も考えて2枚まとめて買ってみたので、数回に分けてROCmのインストールから機械学習用の環境構築、以前に買った同価格帯の中古サーバー用GPUの先輩であるNVIDIA P40との比較までを書いていこうと思う。 今回はセットアップ編ということで、取り付けとROCmインストールでrocm-smiが動くと…

PyTorch/TensorFlowのトレーニング時にWSL2がハングする現象

結論 今回は結論のみ。 WSL2上でPyTorch/TensorFlowで画像モデルのトレーニングを行う際に、データローダーをマルチスレッドで動かすと、トレーニングがハングする現象が発生しました。 ある程度のイテレーションは学習が進むのですが、途中で突然プログレスバーが全く進まなくなるという感じの挙動です。 私のケースではWSL2がWindowsのディレクトリ(/mnt/c 以下)にアクセスする際のパフォーマンス問題によって起こった現象のようでした。なんとなくキャッシュと言うかスクラッチ領域みたいなのがあって、それを超えた読み書きが行われると止まる、みたいな挙動に見えます。 類似の現象は以下の…

【PyTorch小ネタ】 複数モデルを組み合わせたモデルにおいて別々のPretrained Weightを読み込む方法

まえがき 時の流れは早いもので、もう2024年になってしまったようです。 最近はKaggleやら実践的な個人活動は一先ずお休みし、社会人5年目になる前に一旦基礎固めし直そうと線形代数/解析学/統計の勉強をしたり新しく出たBishop本を読んだりしており、あまりアウトプットするものがありませんでした。 bishopbook.com 物買ったネタもEPYC買ったり、オールフラッシュNASを作ったり好き勝手した結果欲しい物が無くなってしまったので、本当にブログに書く内容がない状態。 とはいえたまには書いとかないとアレなので、ちょっとした小ネタで更新しておきます。 最近ちょっとあったケースで、既存の2…

Transformers Trainerを使ってみて分かりにくかった仕様など

まえがき 言語モデルを自分でガッツリ使う経験が今まで無かったので、勉強がてら先週火曜日まで開催されていたKaggle - LLM Science Exam というコンペに参加してました。 www.kaggle.com そこそこ頑張った結果、過去最高の成績(49th/2663, Top2%)を取ることができ、銀メダルを取ることができた。SolutionなどはKaggleの方に書いたのでそちらを。 www.kaggle.com で、この記事で触れるのは、今まで機械学習モデルのトレーニングにはPyTorchの標準的なやり方(ループ内で推論してloss計算してloss.backward()で逆伝播させ…

Ryzen9 7950X3D用にAssassin IVを買ってみた

まえがき Ryzen8 7950X3Dを買ったのがちょうど半年前になるのだが、CPUクーラーは5600X用に購入したScytheの忍者5を流用して使っていた。 忍者5は非常に静かで安い割にそこそこ冷えるのでお気に入りであったのだが、流石に7950X3Dを冷やすには不十分でCinebenchを回すときにサーマルスロットリングに引っかかっているのが気がかりだった。 今年のComputexでNoctuaの次世代NH-D15が発表されたのでこれが出たら買い換えようと思っていたのだが、発売は来年第2四半期予定とのことでちょっと先の話になりそう。 そろそろPCの掃除がてらクーラーを交換したいというところで…

【続・続】鯖落ちGPUを使った安価な機械学習用マシンの作り方 ～憧れのEPYCを購入して機械学習用マシンを完全体にする編～

前記事: hashicco.hatenablog.com 前書き 前記事において、P40を買い増して機械学習用マシンをマルチGPUにした。 しかし、普通のRyzenで構成していたがために、PCIeの帯域が足りず片方のGPUがx4接続になってしまっていたのが若干心残りとなっていた。 そこで、EPYCとSupermicroのマザーを中古で買ってみたという話。 まともな帯域とセッティングで2GPUを接続してベンチを取ってみたところ、そこそこマルチGPUの良さが見えてきたので本記事に記しておく。 まとめ 今回購入したのは1ソケット用32Coreの初代Zen 7551Pと対応マザーSupermicro …

【続】鯖落ちGPUを使った安価な機械学習用マシンの作り方 ～夢のマルチGPU環境にしてみる編～

前記事： hashicco.hatenablog.com 概要 きっかけは、llama2の13BモデルがシングルGPUでは動かなかったこと。 以前記事にした鯖落ちP40を利用して作った機械学習用マシンですが、最近分析界隈でも当たり前のように使われ始めているLLMを動かすことを考えると、GPUはなんぼあってもいい状況です。 また、私自身マルチGPUを扱った経験が薄く、精々SageMaker上でPyTorchのDPでお手軽マルチGPUトレーニングをやったことがある程度。今後大きなモデルを扱っていくことを考えると、お家でマルチGPUを試せる環境を準備しとくのは悪くないと思ってしまった。 そこで、P4…

最近SSDが安いのでオールフラッシュNASを導入した(ASUSUTOR FS6712X)

概要 我が家には10GbE搭載のQNAP TS-332XというNASを導入済みである。8TBのHDD2枚でRAID1を組んでおり、10Gの速度を活かすためにリード/ライトのSSDがキャッシュを設定している。 https://www.qnap.com/ja-jp/product/ts-332x hashicco.hatenablog.com 単なるデータ倉庫としての用途だったので特に性能的にも不満はなく、HDDも稼働時間を1000日超えても快調に動いてくれていたのですが、最近あまりにもSSDが安すぎてオールフラッシュにしたい欲が浮き上がっては消えていく。 そんな折、ASUSUTORから興味深い製…

【IMC2023】KaggleでなんやかんやあってExpertになれた話

概要 最近久しぶりにKaggleに復帰して、Image Matching Challenge 2023というコンペに参加しました。結果、92位/464グループ という成績でギリギリ銅メダルを獲得でき、晴れてKaggle Competitions Expert(コンペで銅メダル以上2個獲得)となることができました。 アイコン周りの表示も紫色になってちょっと嬉しい Kaggleを始めたのは2022年の4月くらいですが、ここ半年くらい何故かTypeScriptの勉強と称してLeetCodeに時間を割り当てていた時期があったので、実質半年くらいのKaggle歴です。 実は1つ目の銅メダルも昨年のIma…

【2023年最新版】 鯖落ちGPUを使った安価な機械学習用マシンの作り方

背景 このブログを始めた2020年頃に、NVIDIA Tesla K40mを使った安価な機械学習用GPUマシンを紹介した。 hashicco.hatenablog.com その後このマシンは勉強用に色々と活用していたのだが、2020年時点でもアーキテクチャが Kepler (Compute Capavility 3.5) と古く、何より計算スピードが遅すぎてKaggleなどでの活用が難しい問題があり、 結局Google Colab ProやKaggle Notebookをメインで使っていた。 更に、最近はRTX4090をメインマシンに導入したこともあり、このK40mマシンの出番はほぼなくなって…

Xit WirelessはサウンドチップALC4080から音を出せないっぽい

この間PCを新調したばかりなのだが、ちょっとしたトラブル。 以前も別記事でXit Wirelessをチューナとして使っていることを書いたが、またXit Wirelessでのコンテンツ視聴ができなくなった。 hashicco.hatenablog.com 今回は依存DLLの不足ではなく、起動まではうまくいくものの、コンテンツ保護エラーが出てTV/録画番組の視聴ができないという症状。 音声出力を確認しろ、とのことだったので音声をマザボの光デジタル出力からモニター(HDMI接続)に買えてみると、確かに問題なく再生される。 前のPCでは特に問題なくマザボの光デジタル出力でも視聴ができていたので奇妙に思…

7950X3Dを買ったのでCCD毎のベンチとか取ってみた

概要 ブログでもちょこちょこ書いているように、GPU(RX6900XT→RTX4090)、CPU(5600X→5800X3D)などメインマシンのパーツを割りと頻繁に変えながら使ってきたのだが、マザボやCドライブの変更を伴わなかったので1年半近くOSをクリーンインストールしていなかった。 Win11もそろそろ安定してきた頃だろうし、昨年末AMDのZen4世代の7000番代CPUやIntelの13世代CPUが登場しチップセットやメモリの世代も新しくなったし、OS入れ替えのついでというのを言い訳にPCの更新をすることに。 5800X3Dで3D-Vcacheの威力を思い知っていたので、他のパーツをディ…

WindowsのPyTorch + JupyterにおいてDataLoaderの`num_workers`の数を指定するとハングする(ように見える)

概要 ほぼタイトル通り。PyTorchのDataLoaderではnum_workersを指定したときの並列化のために、裏側でmultiprocessingを使っていることが原因のようです。 Windowsにおいてmultiprocessingはif __name__=="__main__"ブロックの中で実行されることが想定されているため、Jupyterのセル中でmultiprocessingの子プロセスをSpawnしようとするとエラーが出ます。 で、このエラーは子プロセスの方で発生しているためか、Jupyterの方ではエラーが出現せずずっとセル横の表示が*のままとなり、あたかも実行中のように思…

TensorFlow2.11からはWindows用のGPU対応ビルドがpipで配布されないらしい

内容 最近少しkaggleをお休みしTypeScriptを勉強していたり、仕事でもほとんどPyTorchしか使っていなかったりでTensorFlowの動向を追っていなかったのだが、ちょっとした衝撃的なニュースを今日知った。なんとタイトルの通り、TensorFlowの最新版2.11.0(2022年11月18日リリース)からはWindowsのGPU用ビルドが提供されず、サードパーティ(Intel)によるCPU用のwhlのみが提供されるとのこと。 github.com TF pip: Windows CPU-builds for x86/x64 processors are now built, m…

また出た！新たなる無線MMOマウスの選択肢 Razer Naga V2 Hyperspeedを買った

概要 今までG600→Naga Pro→Aerox9と無線化を求めて横12ボタンマウスを試して来たのだが、Naga Proはサイドボタンの不安定さ、Aerox9はサイドボタンの配置の合わなさから、結局G600から乗り換えることができずにいた。 そんな折、Razerから新たな無線MMOマウス発売の報が。しかも2つも。 1つがNaga Pro V2。こちらはサイドパネルの付替えで2,6,12ボタンと複数のゲームに対応可能できるようになる、Naga Proシリーズの新作。ただ、値段が3万以上もする上に、前作のNaga Proは肝心の12ボタンモードで接触不良っぽい症状が頻発し、あまり良い印象がない。…

RTX4090の機械学習性能を確かめるため`ai-benchmark`をやってみた

概要 タイトル通り、先日購入したRTX4090の機械学習性能を測定するために、ai-benchmarkなるものを取ってみた。 測定したマシンや買ったRTX4090の詳細等は過去記事参照のこと。 hashicco.hatenablog.com まとめ スコアは次の通り。 Device Inference Score: 22918 Device Training Score: 27077 Device AI Score: 49995 公式HP(https://ai-benchmark.com/ranking_deeplearning.html)に載っているランキングでは最高スコアなのがV100で、…

ZotacのRTX4090を買ったのでゲーム性能＋ちょっとだけ機械学習性能を確かめてみた

概要 2年ぶりに訪れたコンシューマ向け新世代GPUの発売シーズン。その第一弾であるNVIDIAのRTX4090が先日2022/10/12に解禁された。 前回のRTX30xx、RX6000シリーズの発売時には、初日の争奪戦で破れちょっとした後にRTX3080を買い、その後VRAM容量を求めてRX6900XTに買い替えた。 しかし、RadeonだとCUDAが使えないので機械学習用途に利用するのに非常な困難がある。本ブログでも紹介したTensorflow-DirectMLは素晴らしいプロジェクトではあるものの、未だ実用に耐えうるほどのものではない。 KaggleやGoogle Colabはタダor安…

横12ボタン無線マウスの新作 SteelSeriesのAerox9を買ったのでNaga Pro, G600と比較する【FF14】

概要 少し前、SteelSeriesから横12ボタンのMMO用無線マウスが新発売された。前から出ているのは気づいていたのだが、値段が高いしG600もRazer Naga Proも持っているので買わなかった。 akiba-pc.watch.impress.co.jp 今回アマゾンのタイムセール祭りで税込み16000円かつ10パーオフクーポンかつポイントアップが重なって割とお買い得に感じたので、大した必要性はなかったが買ってみた。 軽くコンテンツに行きながら使用感を確かめてみたので、定番のG600, 無線12ボタンマウスの先輩Naga Proと比較レビューしてみる。 まとめ 値段は G600 < …

【田舎の回線事情】ピカラの10Gbpsプランはちゃんと実測でマルチギガな速度が出る

概要 私の居住地は現在徳島である。 住んでいる集合住宅の都合上、光回線のプロバイダーはSTNet ピカラという、ここに来るまで聞いたこともなかった元四国電力系のプロバイダーを利用していいる。元々1Gbpsの契約をしていて速度的に不満はなかったのだが、なんとこの日本の片田舎にもピカラが10Gbpsの提供を開始するというビッグニュースが舞い込んできた。 www.pikara.jp あまり契約者がいないからか(失礼)、元々数100Mbpsの速度が常時出ていたので10Gbpsの契約をする意味は殆どなかったのだが、せっかくLANにSFP+まで使って10G環境を構築しているのでこれを活かすためにも10Gへ…

AMD/Intel GPUでもTensorFlowを高速化できるTensorFlow-DirectMLがTF2対応したらしい(まだプレビュー)

概要 以前こちらの記事で書いたように、DirectXを介して機械学習系の演算を行うことで、CUDAが使えるnvidiaのGPUに限らず、DirectX12に対応するあらゆるGPUにおいて機械学習を高速化できるというmicrosoftのDirectMLというプロジェクトがある。(ただし、DirectXを使うことからわかるように、WindowsまたはWSLのみで利用可能であることに注意!) github.com このDirectMLを使った実例の一つとして、DirectMLによってTensorFlowを高速化した、tensorflow-directmlというパッケージが存在。TensorFlow …

KaggleでGoogle ColabやTPUを使うためのTips集

概要 意外とKaggleでColabやTPUを使う情報が少ないので、Kaggle NotebookをTPU対応させたりそれをColab対応させたりするときのTipsをご紹介します。基本はTensorflowに関する記述です。 strategyを定義してmodel.fitのときにstrategy.scope()のブロックで実行するみたいな、基本的な使い方は公式チュートリアル参照のこと(ぶっちゃけ自分もまだこの辺よくわかってなくておまじない的に使ってますが)。 https://cloud.google.com/tpu/docs/tutorials?hl=ja エラーコードなども随時補完していきたい…

Google Colab Proで使えるGPU, TPUの現状(20220410)

まとめ ※GPU・TPUガチャの結果に関してはあくまで自分が確認した限りでの情報になりますので、参考程度に見てください 2022年4月現在、Google Colab無料版ではGPUはK80か偶にT4しか引けなかったし、TPUは一度たりとも使えなかった。 2022年4月現在、Google Colab ProではGPUはP100がほとんどでたまにT4という感じ。TPUは今のところ100％v2しか使えないものの、割当されないことはなかった。本当はv3使いたいんだけども一度もお目にかかれていません。 また、Colabをつかうのであれば気になるところである切断の頻度ですが、TPU v2割当時でも12時間…

HPのウルトラワイドモニター X34を買った

概要 FF14プレイヤーなら一度は耳にするであろう、「ウルトラワイドモニターは視界が広くてプレイしやすい」との噂。 今まで23インチ FHD(EIZOのFlexscan), 27インチWQHD(NECのLCD-PA271W), 31インチ4K(Acer ET322QK C)と着実にモニタをサイズ＆解像度アップして買い替えてきたのだが、ウルトラワイドモニターは対応してないゲームがあるとか、16:9映像視聴時に31インチ4Kよりも表示面積が狭くなるとか考えて手を出していなかった。 ただ、最近のウルトラワイドモニターの新製品発表数も増えてきて市民権を獲得しつつあるような雰囲気。冬ボーナスもほとんど手…

LG G8Xが割れたのでSurface duo(ATT locked)に買い替えた ～米尼で買ってワイモバSIMで使うまで～

概要 こないだ人生で初めてスマホを落として割ってしまった。タッチ切れは起こっておらず画面内指紋認証も問題なく効いており使い続けられるものの、割れた画面を見るたびなんとなくテンションが下がる。 使っていたのはLGのG8Xというやつで、スナドラ855、メモリ6GBと無難なハイスペックかつ専用のカバーをつけると2画面になるというテッキーなやつ。しかもそこまで高くなく、中古で3万ちょいで買えたのでなかなかお気に入りのスマホだった。 最初は物珍しかった2画面のカバーはほぼほぼ使っておらず、生身で本体だけで持ち歩いていたところキレイに画面側から石畳に叩きつけられてバリバリになってしまった。 LGはスマホ事…

Razer Naga Proのサイドボタンの調子が悪かったのでRMA申請した

概要 買ってからちょうど一年くらい立ったRazer Naga Pro。 hashicco.hatenablog.com 前の記事で書いたとおり、正直2万円したわりには特にサイドボタンの動作が不安定でありあまり満足感は高くなかった。 更に半年くらい前からサイドボタンの5番の調子が悪く、何回か押さないと入力が行われない状態となっておりFF14のプレイに支障が出ていた。 5番はヒラで言うならアサリやラプチャー、不撓不屈などの範囲回復、DPS,タンクでは範囲コンボ2段目に割り当てているので1発で出てくれないと結構フラストレーションがある。 Razer Naga Proは公式ストアで購入し2年保証がある…

XPG GAMMIX S70の2TBが¥27,980(税込)と安かったので買った

概要 今まで2年くらい500GBのPCIe3.0 m.2 SSDを使ってきたのだが、微妙に容量不足なのともっと速いSSDが欲しかったのでここ最近2TBクラスのSSDの値段をウォッチしていた。 Read 7000MB/s越えで2TBがあるラインナップということで大体この辺の商品の値動きを見ていたのだが、なかなかお安くならず。 Samsung 980 Pro Crucial P5 Plus Nextorage NEM-H Seagate Firecuda 530 まあPCIe5.0対応のが出るまで待ってもいいかと思っていた矢先、NTT-XのDMで衝撃の商品が！ 全くノーマークだったADATA製のX…

AWS Associate資格を制覇(4冠)したので感想など

概要 今年の1月にCloud Practitionerを受けてから半年。ようやくAssociate資格3種を取得して4冠になりました。 hashicco.hatenablog.com 業務的に関係ありそうな順ということで、 21/03/13 Solution Architect Associate(SAA) 21/05/09 SysOps Associate(SOA) 21/08/21 Developer Associate(DVA) の順番で取りました。 なんとかどれも一発合格でしたが、一番きつかったのはSOAでした。逆に一番簡単だったのはDVA。 役に立つかはわかりませんが、下にちょっとだ…

【Python, 画像処理, napari】Pythonの画像ビューワ napariを使って動画のアノテーションツールを作ってみる

概要 動画から機械学習モデルを作るとき、一番時間を食うのがアノテーションではないでしょうか。 何枚か画像を抜き出してラベリングをするのですが、動きの速い動物の動画などだと前後のフレームを見比べないとその時どんな行動しているのかがわからなかったりする。 でもって、ラベリングツールとして有名ドコロだとMicrosoft謹製のVoTTやAWSのGroundTruthなどがあるかと思いますが、いずれもバウンディングボックスのアノテーションがメインで、意外にも単純な「フレームごとに何をしているのか、何が写っているか」みたいなシーン・フレームに対するアノテーションを動画で行うツールというのは私の知っている…

田舎住みの引きこもりがPS5を買うまでの数ヶ月

概要 結論、田舎の引きこもりがPS5を手に入れるには、とにかく抽選に応募し続ける他ない。近所の家電量販店でもきっと入荷はしているのであろうが、もはや調べるのが面倒。 まだヨドバシがある都会住みならカード作って確実に手に入れる手段もあっただろうが、残念ながらそれもできず。 ひたすらにノジマとひかりTVショッピング（とたまにあみあみ）の抽選に応募し続けること約半年、ついに先日のノジマの第10回の抽選販売にて、FF7 RemakeとのセットのPS5通常版を買うことができた。やったね！ 少しでも当選確率を上げるためにPS5版のFF7 Remakeセットを狙い始めて2回目での当選でした。PS4で一回やっ…

Tensorflow-Directmlで`DXGI_ERROR_DEVICE_REMOVED`が出てしまうときの対処法

概要 前回もご紹介したTensorflow-Directmlに関するエラーについて。 この間久しぶりにTensorflow-Directmlを使ったところ、DXGI_ERROR_DEVICE_REMOVEDというエラーが出て学習前にコケてしまう事態に見舞われた。 Tensorflow-Directml の日本語記事はあまりないので、とりあえずメモ。 まとめ 確認した環境は、RX6900XT, python3.7にtensorflow-directmlの各バージョン。 1.15.5.dev210429, 1.15.5.dev210422, 1.15.4.dev201216, 1.15.3.dev…

FF11のルート探索プログラムをウェブアプリにする【AWS App Runner + Flask】

概要 実はSAAとSOAを最近取得できたのだが、構築経験に乏しすぎる耳年増なままDVAやらSAPを取っていくのは意味なさそうなので、色々経験を積んでいきたいと思う今日このごろ。 何かお題はないかと思っていたところ、こないだ作ったNetworkxでFF11のルート探索をするPythonプログラムがCLIベースだと微妙に使いにくいと思ったので、勉強がてらAWSパワーでウェブアプリにしてみることにした。 GitHub - bobfromjapan/FF11_route_finder FF11のマップ移動が難しすぎるのでグラフ構造を使って解決してみる【NetworkX】 - 端の知識の備忘録 とりあえ…

Arduino Leonardoでエアロバイクをコントローラーにしてヴァナ・ディールを駆け抜ける話

背景 田舎の引きこもり生活は健康に悪い。 東京で長距離通学をしていた頃は否応なしに人波を抜け、歩き、自転車に乗るトライアスロンをさせられていたのだが、田舎に来るとマジで動かない。 しかもコロナのせいで輪をかけて動かないものだからより健康に悪い。 流石にそれはまずいと思い筋トレとエアロバイクを日課にしていたのだが、最近はちょい残業が多かったせいでサボリ気味。すると元々痩せ型であった我が肉体にも徐々に余分な脂がつきはじめ……。 研究職もある程度は健康維持に務めねばならないということで、酒飲んでゲームしかしない休日に運動を無理やりブチ込む仕掛けはないものかと思案していたところ、1つの考えが湧いてくる…

Kensingtonの人差し指トラックボール ExpertMouseとSlimBladeを比較する

概要 私は研究室・職場ではトラックボールをずっと使っている。かれこれ4年以上になろうか。 最初はOrbitTrackball with Scroll Ringを使い人差し指トラックボールにハマり、数カ月後には無線のExpertmouseを買っていた。 Amazon Kensington ExpertMouse ワイヤレストラックボール K72359JP 【日本語パッケージ】 Kensington トラックボール 通販 Expertmouseは素晴らしく使いやすく、そこから3年以上ずっと使い続けていた。 Expertmouseには概ね満足であったが、Kensingtonのトラックボー…

【R】 三井住友・楽天のカード明細とUFJの口座明細をRで読み込んで社会人1年目の収支を見てみる

背景 早いもので働き始めて一年も経ってしまったようだ。 学生の時と違うことといえば、とにもかくにもお金が入ってくること。 生まれてきてから溜め込んできた分の欲望を無計画に吐き出すかのように、この1年はとにかく何も考えずにお金を使ったものである。グラボを買った月などはカードの引き落しがその月の給料より高かった気がする。 高い買い物は記憶に残るものの、あまり出費として気に留めない細かい買い物も明らかに増えたし、その「細かい買い物」に該当する金額の幅も広がった。飲むお酒もストロング系からちゃんとした生ビールに、ウイスキーもトリスから酒屋で適当なスコッチを選り取り見取り好きに買い、味の違いを楽しむなん…

FF11のマップ移動が難しすぎるのでグラフ構造を使って解決してみる【NetworkX】

概要 FF11のマップ、多すぎて覚えられない！ 移動手段も経験も豊富なベテラン冒険者の方々にはきっとなんの障害にもならないのであろうが、初心者には 「白魔道士の限界突破のために『偉大な白魔道士の証』を取りに行きたいけど、テリガン岬？ソ・ジヤ？ってどこだよ！」 とか 「闇の王を倒しにズヴァール城？たしかザルカバード？ってことは更に隣は……どこだっけ？」 みたいな感じで本筋ではない、その場所への行き方という壁がそびえ立っている。 ウィキもFF11 DBも非常に内容が充実しておりこの上ない情報源ではあるのだが、流石にピンポイントにウィンダスからボスディン氷河に行きたい！みたいな疑問には答えてくれない…

Ryzen5 5600XとRX6900XTでFF14 4K 最高品質の(ほぼ)60FPS張り付きプレイが実現できる

概要 こないだRTX 3080とRyzen5 5600XでFF14 4K 最高品質の60FPS張り付きプレイが実現できるという記事を書いた。 hashicco.hatenablog.com RTX 3080からRX6900XTに買い替えてからすでに2ヶ月もたったようなので、使用感を記す。 最近の週末は割とずっとFF14をやっており、このRX 6900XTとRyzen5 5600XというAMD製最新CPUとGPUの組み合わせでどれだけ快適にゲームができるかを、FPSの計測で確かめたというお話。 結論 RX 6900XTとRyzen5 5600Xの組み合わせによって、4K 最高品質でもほぼずっと6…

不定期FF11日記① 新米冒険者、2回洋上で死す

概要 私は小2のときからFFをやってきた生粋のFFプレイヤー。ナンバリングはもちろん、割とほとんどの外伝シリーズもプレイ済みである。 そんな私でも唯一やったことの無いタイトル、それがFF11であった。 中高生のときはお金がなくて月々金を払ってゲームするというのはできなかったし、大学生になってからはFF14始めてしまったので流石に2つも同時にMMOをすすめる余裕はなかった。 隙あらばFF11をやってやろうと思っていたのだが、FF14の情報発表会で次の大型パッチが今年9月からという案内があった。 丁度ボズヤも青魔も終わり凪に入ったところだし、やるなら今しかない！ということでFF11の無料体験を先日…

FF14用にフットスイッチOlympus RS31Hを米尼で買ってみた

概要 以前Razer Naga Proを買ったときにも書いたが、私は12ボタンマウスとフットスイッチがないとサスタシャクリアすら怪しい光の戦士である。 今まではルートアールの3ボタンフットスイッチを2年ほど愛用していたのだが、だんだんガタが来ており、最近では押したはずなのに反応しないこともしばしば。まあ物としては問題なかったし、たった3500円位で買ったやつがこれだけ持てばなんの不満もない。 Amazon.co.jp： ルートアール USB3連フットペダルスイッチ マウス操作対応 RI-FP3BK: パソコン・周辺機器 とはいえ最近は零式行ったりしているので、フットスイッチが不発して攻撃しよう…

RX6900XT買えたのでRTX3080と比較！

税込み14万くらいで中古のRX6900XTを買ってしまった。 やはり今までR9290 -> R9390X -> RX590X -> RX Vega56と90番台やハイエンドRadeonを自作はじめたときから使ってきた身として、今回のフラッグシップであるRX6900XTは超魅力的に見えてしまった。まあこれらは全部2万前後で買えたからコスパのRadeonであったが今回は14万……。ぶっちゃけ高すぎる。 とはいえまともなワッパでnvidiaと勝負できるグラボというとほんとに久々ですし、ちょうどSAMが使える5600X使ってるのでそれも使ってみたかった。……いくら理由をあげようともただの衝動買いです。…

RadeonでTensorFlowを使える！tensorflow-directmlがすごいというお話

概要 みなさんDirectMLってご存知ですか？私は今日知りました。その派生Projectのtensorflow-directmlと一緒に。 まだブログに書いていませんが、実は最近Radeon RX6900XTをようやく買うことができ、RTX3080は売ろうと思ったけどTensorFlowは使いたい...。でもROCmは未だにRDNAに対応してないし…。と思っていたところ発見した代物。 DirectMLはMicrosoftが開発しているWindowsとWSLで動く機械学習向けAPIで、DirectX12を介してGPUにアクセスするのでCUDAを使わずにGPUを機械学習用途に使えるというスグレモ…

AWS Cloud Practitioner とAzure Fundamentals受けてみた

概要 昨年からの仕事の成果をなんかの形にしたいと思い、とりあえず資格をとってみることに。 仕事でクラウドを使えたのは正味2ヶ月くらいなので、初心者もいいところ。ちょうどAzureの初心者資格が無料で受けられるという話をどっかで目にし、これ幸いと受けてみた。 しかし仕事ではメインでAWSを使うので、それに相当するCloud Practitionerも受けることにした。 PearsonのオンラインCBTで受験することができるので、家から一歩も出ることなく2つも資格を取ることができた。出不精の私にとっていい時代になったものだ。 結果的にはどちらも9割近くで合格できたので良かった。次は4月くらいまでに…

今更だけど例のグラボのはんだ付けにチャレンジしてみた(クリーム半田とヒートガンを使った方法)

概要 前回紹介したDevilBoxと合わせて購入したRX470 Mining(例のグラボ)。 eGPU BOX(PowerColor Devil Box) ＋ 例のグラボ(RX 580(RX 470)) をBootcampで使うために非公式ドライバ試してみた - 端の知識の備忘録 せっかくなのでHDMIを復活させてみたというお話。 最初は細いコテ先でやればいけるだろ！と甘く見ていたが、マルツから届いたチップの実物を見て戦慄。小せえ！ 毛根くらいしかないそのチップをはんだごてで実装するのは不可能に思えたが、私は幸いにしてボーナス直後。ヒートガンとクリームはんだという余計な出費に対する抵抗など微塵…

Bootcampでegpu(RX5700XT + Devilbox)を動かす ～Windowsのバージョンが肝要～

背景 前回DevilBoxを購入して、マイニング用RX470をRX580にしたキワモノGPUを乗っけた上で、有志の作成した謎ドライバを使ってBootcampで動かしたという奇怪なビルド結果を紹介した。 eGPU BOX(PowerColor Devil Box) ＋ 例のグラボ(RX 580(RX 470)) をBootcampで使うために非公式ドライバ試してみた - 端の知識の備忘録 その後きっと問題なく動くだろうと調子に乗ってバッファローダイレクトで/27,800で売っていた玄人志向のRX 5700XTを購入してみたのだが、まあ相当ハマった。全然動かん。 eGPUをBootcampで使う界…

eGPU BOX(PowerColor Devil Box) ＋ 例のグラボ(RX 580(RX 470)) をBootcampで使うために非公式ドライバ試してみた

背景 昔から一回使ってみたかった外付けGPUボックス(eGPU)。安い中古を発見してしまって，メルカリに大量の売上金が残っていたこともありついつい買ってしまった。 購入したのはPowerColorのDevil Boxというやつ。 これにSapphireのRX470のマイニング版，いわゆる「例のグラボ」のRX580改造版を手に入れたので合わせて使うことにした。 最近全然起動していなかったMacBook Pro 15.6inch mid 2018(i7-8750H, 16GB, RX 555X)のWindows10のBootcampで使おうとしたら大変に苦労したのでログを残しておくことにする。 結…

RTX 3080とRyzen5 5600XでFF14 4K 最高品質の60FPS張り付きプレイが実現できる

概要 ちょっと前まで TR 2920XとRTX 2070を使っていた私だが、ここ最近の自作パーツの新製品ラッシュでとうとうRTX 3080とRyzen5 5600Xに買い換えることができた。 ベンチマークやらなんやらは前の記事でまとめたが、実際に大事なのは一番遊ぶFF14がどれだけ快適に遊べるかに尽きる。 やっと買えたRTX 3080 ~msi Ventus 3X 10G OC を試す~ - 端の知識の備忘録 コアが半分になるけどTR 2920XからR5 5600Xに買い替えてみた - 端の知識の備忘録 ちょうど先週末の土日はずっとやってなかった青魔に手を出したり、知り合いの紅蓮極周りに付き合…

コアが半分になるけどTR 2920XからR5 5600Xに買い替えてみた

概要 とうとう発売されたZen3のRyzen、5000シリーズ。 想像よりもかなりできが良いようで、各種ベンチの結果によると特にゲーム用途での性能がとうとうIntelを追い越した感がある。 初代ZenのRyzen7 1700、Zen+のTR 2920Xという具合にCPUを更新してきたようにここ数年はずっとRyzen押しだった私だが、Zen2は学生時代の発売でお金がなくてスキップしていたので、Zen3はかなり魅力的に見えた。 しかも最近RTX3080を買ったのだが、TR 2920Xではどうにも性能を出し切れていない印象であり……。魔が差してRyzen5 5600Xをポチってしまった。 コア数は半…

Windows10を再インストールしたらXit Wirelessが起動しなくなったのを直した話

結論 Windows10をインストールしたばかりのPCにXit Wirelessをインストールしたのだが、何も画面が表示されずそのまま落ちる現象に悩まされた。 いろいろ調べてみたところ次のサイトに書いてある、 価格.com - 『Xit wirelessが起動しない』 ピクセラ Xit AirBox XIT-AIR100W のクチコミ掲示板 だいぶ前のスレとなってしまいましたが、解決したので情報共有のために書き込みます。 DaVinci Resolveという動画編集ソフトを入れたところ、Xit wirelessが起動するようになりました。 一緒に以下がインストールされたことで、起動するようにな…

乗らなさ過ぎて補機バッテリーが完全に上がったアクアをNOCO GB-40というジャンプスターターで起こした話

背景 あまりに車に乗らなさ過ぎてアクアの補機バッテリーが上がってしまった。 田舎に来るから車は必須だと思って持ってきたのだけれど、意外と徒歩チャリ圏内で食料品や酒、散髪など大概のことは済む場所で、さらに超インドア趣味の自分はたまに5分くらいでつくスーパーに意味もなく車で行くくらいしか車に乗ることがなかった。 心なしか「そろそろバッテリー上がるのでは…」と思っていたところ、一月ぶりにエンジンをかけようとしたら変に高いノイズを立てるばかりでスタートしない。 予想通りというかしっかりとバッテリーが上がってしまった。 会社の同僚に頼んで充電してもらおうかとも思ったのだが、この頻度でしか車に乗らないこと…

Oculus Quest2 + Oculus Link ケーブル買いました

概要 こないだ発売されたOculus Quest2。3年来のRiftユーザーの私は、ここ2年位は使用頻度が半年に1回くらいであるにも関わらず、その解像度の高さとSoCの性能と相対的な値段の安さに惹かれ、いつの間にか予約注文してしまっていたのであった……。しかも1万もするUSBケーブルであるOculus Linkケーブルを添えて。 届いたので開けて少し使ってみたというお話。 まとめ Riftから進化したところ セットアップが楽ちん。Riftのようにセンサーの設置場所とか気にする必要がない PCともLinkケーブル一本でつながる。Riftに比べるとなんとなくラグいような感じがしたが、ちょっとすれば…

やっと買えたRTX 3080 ~msi Ventus 3X 10G OC を試す~

背景 かれこれ発売から2週間以上経った現在もなお品薄が続く、NVIDIAのグラフィックボードRTX 3080 発売日から各ECサイトに張り付き続けた結果ようやっとmsi Ventus 3X 10G OC を買うことができたので、軽いレビューをしようと思う。 ぶっちゃけ今回は3年保証と背面にファンを追加できるという謎ギミックを持つ最高にクールな玄人志向(GALAX)のボードを狙っており、RTX 3080とRTX 3090両方とも発売日当日からヨドバシで予約をしていたのだが、全然入荷せず。 ふと10/2の日付が切り替わる瞬間にヨドバシを見てみたら、OC版のmsi Ventusがちょうど登録されたと…

Windows10 + anaconda + cuda 10.0環境でTensorflow2の導入

概要 今更だけどもWindows10のcuda10.0固定環境にてTensorflow2を使いたくなったのでインストールをしたときのメモ。 TensorflowでGPUを使おうとすると、ドライババージョンやCUDAバージョン、GPUのCompatibility、対応するPython、cuDNN、Tensorflowのバージョンととにかく依存関係の処理が面倒くさい…… 今の時代大人しくクラウドでnvidiaのマシンイメージ入れてDockerであれこれいじるのが一番ラクだし再現性も確実なのだが、どうしてもオンプレミスのWindows環境でなにかやる機会は無くならないものだ。 特に最近この記事で紹介…

Razer Naga Pro 買いました ～G600からの買い替え & FF14での使用感～

概要 つい数日前、Razerの新作マウスNaga Proが発表されました。 www.4gamer.net 普段G600を使いFF14をやっている私的に待望であったrazer epic naga chroma以来の横12ボタンの無線マウスの発売となり、購入を即決した。値段は149.99ドルとマウスの中ではほぼ最高値な気がするが、類似の商品は今売られていないので仕方ない。 上記の記事では日本国内における販売は後日発表とあったが、ふと先週の日曜日Razer公式HPを見てみると、なんと普通に買えるではないか！値段は18,988円＋送料980円とほぼ2万円。めちゃめちゃ高いが、類似の商品は今売られていな…

Kioxia SSD SSD-CK240S/N ベンチマーク

概要 10Gbps NASのSSDキャッシュ用にSSDを探していたところ、アマゾンのセールでキオクシアブランド EXCERIAのSSDという物珍しいのが売られているのを見つけ、つい購入してしまった。 東芝メモリから社名をキオクシアに変えたことは記憶に新しいが、とうとう個人向けにSSDが出るとは。 興味からNASに組み込む前に軽くベンチマークを回すことにした。 商品説明 容量は240，480，960GBで3種展開、日本での代理店はバッファローみたいですね。アマゾンでの販売元もみんな大好きバッファローダイレクトでした。 使っているNANDはBiCSフラッシュのTLC。最大書き込み540MB, 最大…

10gbpsのイントラネット環境を構築してみた ＃2 NASのセットアップとベンチマーク

概要 中々のボリュームになってしまいそうなので、設定に関しては番外編として別ページにまとめようかしら。 結論 文字多すぎ、読みづらすぎなので先に結論。 TS-332Xを8TB RAID1で構築。RAMを2GB →8GBに増設し、240GBのSSDキャッシュを搭載してみた結果。 10Gbpsで繋ぐならRAM8GBは必須。1Gbps利用でも2GBではシステムで半分以上使い切っているのでできれば増設したほうが良いと思う。 SSDキャッシュはR/Wで構築したほうが当然書き込み速度は上がる。ただしRAID1にすることが推奨されるので、SSDは2枚買う必要がある。 メモリ・SSDキャッシュを使い切るまでは…

10gbpsのイントラネット環境を構築してみた ＃1 NIC、スイッチ導入編

概要 お金に余裕ができたので、前から憧れていたNASの導入をすることにした。 せっかくなので10gbpsでつなぎたい！更に普通のRJ-45じゃ面白くないので、SFP+で繋がる機器を一式揃えました。 ということでまずはPC側のNICとスイッチを用意したお話。 最終的な構成は、 PC NIC: HP NC552SFP ー スイッチ：Mikrotik CRS305-1G-4S+IN ー NAS：TS-332X という感じ。意外とお安く、しかも納得の速さになったので大満足！ タスクマネージャー読みで9Gbps超えの表示というのは中々壮観なものです。 NICのご紹介 NICは正直何でも良かったのですが、…

Prontoの使い方

概要 今回扱うのはオントロジーデータをPythonで処理するためのパッケージである'Pronto'です。 英語であっても使用例があまりなく、日本語ではほとんど紹介する記事がありませんでしたので、かんたんな使ってみた的な記事を書いてみようかと思います。 ある単語を入力すると、その単語の属するカテゴリーを表示できる関数をつくるまでを書いていこうかと思います！ オントロジーデータとは 詳しい説明はWikipediaやらなんやらをご参照いただくとして、今回扱う範囲での説明を少しだけ。 ライフサイエンス分野でもドメイン特有の単語や遺伝子・タンパク質のような情報に概念的なタグ付けをして、コンピューターによ…

格安で機械学習環境(物理)を構築する方法 #2 OSインストール編

概要 前回作成した機械学習用サーバーに、 CentOS 7 nvidia driver 410.129 CUDA 10.0 docker-ce-18.06.3 nvidia-docker2 をインストールし、Dockerコンテナ上でnvidia-smiが動くまでを目指します。 世間にたくさんこういう情報は転がっているものの、やはり自分の環境で実行してみると様々なエラーに遭遇するものですので、自分もとりあえず遭遇したものは書き留めておこうという次第です。 Docker19.03よりネイティブでNvidia GPUへの対応が行われたようですが、今回はDeepLabCutというnvidia-dock…

格安で機械学習環境(物理)を構築する方法 #1

序論 今まで生化学を専攻してきたというのに仕事で突然CUDAを使う機械学習系OSSのソフトが動く環境を構築しろと言われたら、あなたはどうしますか？ しかもその会社で支給されるPCはmem 8GBのLet's Noteで込み入った日常業務すら厳しい始末で、当然GPUなんぞ積んでいない。GPUが載ったサーバーへのアクセス権限はなく他の人も使っていて自由に弄れる環境ではないし、AWSのようなクラウドサービスを使おうにも何枚の申請書が待ち受けているのかわかったものではない。 欲しい……自由に使える機械学習環境が。 しかし筆者は6年の自作歴だが生粋のAMD派。R9 290→R9 390X→RX 590→…