こんにちは。 Hugging Face TransformersでローカルでLLMを動かすとき、最初にモデルをダウンロードし、その後はローカルにキャッシュされたモデルを使って実行しますよね。 ところが、デフォルトではこのキャッシュ先がOSと同じストレージ（Cドライブなど）になっています。新しいモデルをどんどん試したいときでも、「OSディスクにどんどんデータが溜まるのはちょっと嫌だな…」と感じる人も多いはず。（私は嫌です。） そこで今回は、別途用意しているML用ストレージ（私の場合はFドライブ）に、Transformersのモデルキャッシュを移します。（N番煎じ 結論 デフォルト設定は~/.ca…

久々にkaggleのコンペをしたので振り返ります。といってもメダルを取ったわけでもないので今回は自分の解法を紹介というわけではなく実験管理について開示します。 結構世の中のkagglerが実験数300とか1000とか言ってる話を聞いて、個人的にナンバリングの粒度が気になってるのでまず自分の粒度を開示しようというような感じです。（全然人それぞれでいい問題だけど気になっちゃう性格 管理方法 まずコンペ期間のメモは基本的にnotionでとってます。 テンプレボタンを押すとコンペ用のページが作成されます。 こんな感じにメモをとっていく 実験 実験は絶賛管理方法を模索中です。今回はnotion内のデータ…

こんにちは、今更ですが転職しました！2023年の振り返りでも少し触れましたが、社内SEからAIエンジニアにキャリアチェンジしました。 本日は、選考を受ける企業をどのように、どこで知ったのかについてお話ししたいと思います。情報源は大きく分けて2つ、Twitter（≒Kaggle）と転職エージェントになります。 1.twitter Kaggleを通じて知り合った人にお願いして話を聞かせてもらいました。雑に飲み会を企画して話を聞いたり、カジュアル面談という形でお話させてもらったりしました。AI系の仕事といっても、大企業のDX部門のAIチームだったり、プロダクトを作っている企業だったり、SIerのよう…

こんにちは。先日まで開催されてた"LLM - Detect AI Generated Text"に参加してました。 個人の取り組みとしては参加期間も短くディスカッションも追いきれず、公開ノートを弄って終わりでした。 久しぶりの機械学習（特にNLP）ということで今コンペはどんなモデルや手法が使われてるのか軽くメモを残しておきます。 ※想像以上に雑なクオリティになってしまいました。ごめんなさい。英語の読解が正しくできてない部分もあるかもしれません。ご承知おきください。 solution毎のメモはコチラに公開してあります。 概要 LLMによって生成されたテキストを検出する 学生が書いたエッセイとさま…

2023年の振り返りをしていきます。この一年は私にとって色々な目標を達成したり、あえて辞める選択をするなど非常に濃密な1年間でした。人間社会としても2022年の暮にChatGPTが登場して、ここまでたった1年ですごい変化が起きており濃密な1年だったと思います。 AtCoder Algorithm 入水 2022年度内の達成を目指してましたが、実力不足であったりDDoSがあったりとでGW後の入水になりました。PAST本上級が途中で終わってたりするので、これの読了とPAST受験、入青をまったり目指すかもしれないです。 AtCoderHeuristic 入水 9/24の回からAHCにも取り組み始めま…

こんにちは AHC026に参加してきました！ 415th / 3136で水パフォ、無事入水することができました AHC027 課題の確認 問題はcontest page参照 考察 ※正しくない部分はあると思います 各マスの汚れやすさdは1～1000 j-k-1は N=20の時-9から17の値を取る、中心が正のあたりにある正規分布 毎ターンsum(dij)-d現在地分スコアが増加する dが大きいマスに移動距離を増やしてまで寄り道することは基本的にスコアの悪化を招く N=40の時は全体で最低でも1600汚れるので、1マスで相殺できない つまり方針としては、Lをなるべく小さくなるようにしつつ、どうし…

こんにちは AHC026に参加してきました！ 212th/1644で青パフォでした（入水しそこねた・・・・・ 今回はちょっと手短に振り返ります 課題の確認 問題はcontest page参照 ソリティアと言ってる参加者が多くたしかにそんな感じだと思います。 考察 取り除くアイテムは200個、操作は5000回できる 毎回上に乗ってるものをどかしてから取り除いても400回なので結構余裕 1つ取り除くのに25回移動させられるので制約違反は気にしなくて良さそう 目的の数字の上にN個荷物が乗っていたらそれを撤去するにはNの体力消費をすればできる 何回に分けてもN消費することは変わらないというのは多分ポイ…

こんにちは、AtCoder Heuristic Contest 025 が 2023-10-14(土) 12:00 ~ 2023-10-22(日) 19:00 で開催されていたので参加してきました 暫定ですが結果はこんな感じ。AHC024についで2回目の参加となり、初めての長期コンテストでしたがそれなりにやれたのではないでしょうか・・・？ 考えたことや考察を時系列に書いていきます。考察があってない可能性もありますがご了承ください。 課題の確認 詳細はcontest pageで確認ください。 与えられたN個のアイテムをD個のグループに分ける Dこのグループの重さが均等になるように分割する それぞ…

こんにちは、そろそろAHCの色も欲しいなーって思ったので参加してきました。 基本的に答えがある方が好きなのでAtCoderではこれまでアルゴリズムの方をやってました。 今回は参加レポートということで時系列で思ってたこと考えてたことをつらつらと 問題の理解 隣接関係を崩さないようになるべく少ないマス数で表現する 明らかに削っていいマスはわかるけどどうやってプログラムでやればいいかわわからない ダウンロードしたツールもよくわからない 昨日Introduction to Heuristics Contestで少し予習したときはtester.pyがあったけどそれがない →「あーこれ自分で評価関数的なや…

こんにちは 音声生成モデル来ましたね。 ja.stability.ai www.stableaudio.com ユーザーガイドをみるとPromptと生成された音声が公開されています。 雰囲気や使用楽器、テンポやジャンルが指定できそうな雰囲気です。 既にギターやドラム、ベースなどはサンプルであるので、今回は吹奏楽で使われる主要な楽器をpromptに入れてどれくらいそれっぽく作れるのか試してみようと思います Promptは trumpet solo, happy, 156 BPM こんな感じに指定した楽器のソロにhappyを添えてテンポも指定する感じで行きます。 1. トランペット 流石に誰でも知…

最近、たくさん（当社比）のアニメを視聴しました。都度、思ったことをツイートしていますが、これほどの視聴量は珍しいので、まとめてシェアしていきたいと思います。 結論とかは無いです。 ぼっち・ざ・ろっく バンドアニメはけいおん至上主義 + キャラデザに惹かれない = 視聴しない だったのですが、 たまたま暇だった + 途中まで友人と見てた = まぁ、見るか ということで見ました。結論としては比べるものじゃないしどっちもそれぞれいい！ 最初のライブハウスライブで感極まってないた。これを見てから結束バンドのアルバムを1ヶ月以上ヘビロテした。 五等分の花嫁 Huluにrecommendされたので見た。 …

1st score public 0.14445 private 0.30626 「本当に予想外でした。上位10％に入ることを望んでいましたが、それ以上のことは夢にも思っていませんでした。」 DNNを使用 GBDTは明らかに過学習だったので非採用 greeksは未使用 FEは過学習に繋がった DNN based on Variable Selection Network(論文) 正規化はMinMaxScalerやStandartScalerでなく、8つのニューロンを持つ線形射影 最終的に確率を重み付けし直すと、とてもうまくいった。 cvは機能していた 10foldで10-30回学習し、cvを元…

内輪で集まって（オンライン）データ分析コンペで戦いましょう的なものに参加してきました。 企画ありがとうございました！ 結果は15/42でした悔しい。 使ったコードはコチラ いつもちゃんとデータを見て仮説を立てて実験して結果を見て改善させていきたいっていう理想は持ってるのですが、 今回も結果的には思考停止でやっちゃったことが多かったというところが個人的な反省です。 考えて取り組んだポイント 目的変数の裾が長かったから対数変換する しないほうがよかった +500したら効いたらしい trainデータを価格順に並べて bike_title の1単語目が特徴になりそうだったので抽出した 学習データを増や…

この記事は五等分の花嫁のネタバレを含みますので未見の方はご注意ください。 こんにちは atmaCup15がありましたね。 結果は82位でした。 atmaCupは課題内容の評判がよく、今回もきっとしっかり課題を理解して有効なアプローチを取った人がスコアを伸ばしてるんじゃないでしょうか？上位を見るとkaggleGMもちゃんといます。 それだけにこの結果はシンプルに凹むものがあります。悔しいです・・・ 自分の上の81個のソリューションが出てくるため、簡単に振り返ります。 簡単に振り返り 時系列でいきます。 最初に基本的なラベルエンコーディングやワンホットエンコーディングをしました。CV1.3999 …

こんばんは 前回の入水記事沢山の人に読んでいただけました。ありがとうございます。 競技プログラミングを半年くらい集中してやってたんですけどその間に機械学習系のライブラリが結構更新されてました。 PyTorchが2になってたり、PyTorch Lightningも2になって、polarsの登場でimportがlightningに変わってたりしてます。（関係あるのかしらんですけど） あとkaggle notebookのpythonのバージョンも3.10になってますね。 自分が作ってたテンプレートがここらへんに対応して無いので更新しました。 www.kaggle.com . . . . . . さー…

こんにちは。前回の記事にたくさん訪問いただきありがとうございます。今回はちゃんと色変記事書きます。何をして水色まで行ったか、頑張った感想などが伝わればと思います。 また、kaggleだけやってる人がAtCoderを始めるきっかけになったり、その逆にもなったら幸いです。 自己紹介 kaggleではteyosan1229として、AtCoderではte1229として活動しています。名前の由来はTales Weaver をしてた頃のハンドルネームから来ています。 てょの前はマリだったので、どっちで呼んでも正解です。 けいおん！のりっちゃんが好きです。 秀でた学歴があるわけでもなく、何か得意なドメイン・…

2023/05/16 追記 ちゃんとした色変記事を書きました teyoblog.hatenablog.com お久しぶりです。前回の更新から135日ほど経っていたみたいです。 労力のいる作業なのでしょうがないですね笑 さて、タイトルにあるようにそこらへんにいるKaggle MasterがゼロからAtCoder水色を目指すとどれくらい時間がかかるのか？結論から言うと8ヶ月かかりました（半年くらいでなれたらちょっとドヤ顔できるかなと思ってたんですけどね。。。。） 本当は こう進んだり、 こう進むつもりだった 水色になったときに公開するために、勉強をしながらリアルタイムで日記的なものをつけていたので…

お世話になっております。 4か月ぶりの更新になってしまいました。ここ最近機械学習コンペから離れているので更新が滞っていたのですが、2022年を振り返るといろいろあったのでここで振り返ろうと思います。なお、今年のそのいろいろは忘れたくない（あと感染症的にあえてやろうとも思わない）ので忘年会は0です。誘われてないわけじゃないんだからね。 Kaggle commpetition masterになった 1月に終わったpetfinderコンペで（チーム）金を取得し、そのあとjigsawコンペで（ソロ）銀を取得でき、始めた当初の目標であったkaggle masterになることができました。 kaggler…

こんにちは 『推薦システム実践入門』を写経していて本の通り動かない部分があったため、メモとして残します。 今回は5章のIMFでimplicitを使う部分 各ライブラリのバージョン numpy:1.21.6 implicit:0.5.2 scipy:1.7.3 リンク github.com github.com 本題 本のコード # モデルの初期化 model = implicit.als.AlternatingLeastSquares( factors=factors, iterations=n_epochs, calculate_training_loss=True, random_stat…

はじめに この旅行記は昔したヨーロッパ旅行の記録です。 1週間ほどかけてドイツ、チェコ、オーストリアを周遊しました。 できる限り自分が見たい旅行記に近づけるようにがんばって書いています。ここが良い、これがほしいありましたらご意見待ってます。 バックナンバー ヨーロッパ旅行記①[出発～フランクフルト] ヨーロッパ旅行記②[フランクフルト～ローテンブルク～フュッセン] ヨーロッパ旅行記③[ノイシュバンシュタイン城～フュッセン市街地] ヨーロッパ旅行記④[ミュンヘン] ヨーロッパ旅行記⑤[チェスキークロムロフ] ヨーロッパ旅行記⑥[プラハ] ヨーロッパ旅行記⑦[プラハ観光] 今回の旅程 お久しぶりで…