皆さんこんにちは お元気でしょうか？忘年会シーズンで疲れ果てていたら、1日遅刻しました。qiita.comこの1年、生成AIのブームが来ており、Kagglerの皆様もChatGPTを使っている方が多いのではないかと推測しています。 ということで、本日は私の使い方を簡単に紹介しようと思います。 コンペの使い方 ChatGPTをうまく利用すると生産性の向上が見込めます。 反面、ハルシネーションも生み出すので、使い方を誤ると致命的です。 そのため、出力を信じず、基本はチェックができるものにしておくのが良いでしょう。 具体的な利用内容 コンペ理解 説明文の理解 専門や馴染みのないものに関しては、正直、…

皆さんこんにちは tereka114です。最近はNLP関係の技術調査も兼ねて、FB3をやってます。 最近の社会の流れを見ていて、少し時間の片隅でやってみたい事ができ、やったので、実験とその結果を書いておきます。 導入 今年はStable Diffusionが発表され、また、mimic、NovelAIなど画像の生成に関して 社会に劇的なインパクトを与えるモデル／サービスが発表されてきました。 今までの生成モデルもそれなりにおおっと言われてましたが、ここまでインパクトが世間的に出てくることはほとんどなかったのではないかと思っています。 私もお仕事であまり関係をしない都合上、GAN以降のモデルはノー…

皆さんこんにちは お元気でしょうか。冬だというのに、GPUと暖房で半袖装備でも過ごせています。 今年、長きにわたるMaster生活の終演を迎え、ようやくGrandmasterになることができました。 そこで、Grandmasterになるまでの経験をこちらに書き記しておこうと思います。この記事はKaggle AdventCalendar2021カレンダー2、25日目になります。qiita.com 著者の背景 Kaggleへの取り組み 1-3年目 4年目 IEEE's Signal Processing Society Avito Demand Prediction Challenge Home …

皆さんこんにちは。 コンペで頑張ったので疲れました。さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。すると9/18に久々に請求額を…

皆さんこんにちは お元気ですか。ブログ書きながら、当チームのガチョウを見守っています。最近までHungryGeeseに参加しており、このコンペでHandyRLライブラリには大変お世話になりました。 このコンペでHandyRLを改造して使ったので、そのポイントを記録として残しておきます。 HandyRLとは HandyRLの使い方 基本編 Tips 自己対戦以外でエージェント作成 様々なエージェントで評価 自己対戦モデルを一定期間保存する 学習済モデルの実行 決定的動作で動かす 感想 HandyRLとは 一言で言えば、PyTorchで利用できる軽量な深層分散強化学習用のフレームワークです。 実際…

皆さんこんにちは tereka114です。本日はKaggle Advent Calendar24日目の記事です。 今回はKaggle用マシンで購入したものとパーツ選びの基準をご紹介します。qiita.com Kaggle用マシン Kaggle用マシンがなぜ必要か どのような要件のマシンが必要か パーツの選定 基本方針 各々のパーツ CPU メモリ GPU SSD 電源 マザーボード PCケース ファン 最後に Kaggle用マシン Kaggle用マシンがなぜ必要か Kaggleをするためにはノートパソコン一台でも十分です。 しかし、勝つには、最近の巨大データ、画像、NLPコンペの増加に伴いハイ…

皆さんこんにちは。 お元気ですか。私はもう小麦そのものは食べる専門です。 本日はKaggle Notebookに関するトリックを紹介しようと思います。 Kaggle Notebook 黒魔術紹介 コードを呼び出すほうがリソース管理が楽 外部パッケージインストール 例外 小数点以下の結果に注意 コミットまでの速度を早くする 最後に Kaggle Notebook Kaggle NotebookはKaggle上で動作する実行環境みたいなものです。 Kaggle上で動いているJupyter Notebookと解釈しても差し支えないでしょう。昨年からこのKaggle Notebookで推論のみ提出コン…

皆さんこんにちは お元気ですか。私は小麦を暫く食べるだけにしたいです。（畑で見たくない‥）さて、本日は最近勢いのあるモデルのライブラリ（pytorch-image-models）を紹介します。 pytorch-image-modelsとは 通称timmと呼ばれるパッケージです。 PyTorchの画像系のモデルや最適化手法（NAdamなど）が実装されています。 Kagglerもこのパッケージを利用することが増えています。github.com従来まで利用していたpretrained-models.pytorchは更新が止まっており、最新のモデルに追従できていないところがありました。 このモデルは例…

皆さんこんにちは。 お元気ですか？私は元気です。本日までatmaCup#5に参加し、Public12th, Private18thでした。 問題設定 装置に関連する問題で、テーブルと信号が提供されました。 評価はPR-AUCで、Positive sampleが少ないこともあり、スコアが安定しない問題でした。 取り組み 序盤 1日目から信号の問題だったので、 1DCNNに最初から取り組んでいました。その地点でPublic 1位になっていたのですが、CVがうまく安定せず、 ここから、なかなかスコアが上がらなくなっていました。 中盤 CNNのチューニングや様々な謎トリック（interpolate m…

皆さんこんにちは お元気でしょうか。最近は宅配スーパーによりますます外出しなくなっています。本日はTPUをPyTorchで使ってみます。 GPUと比較して、TPUは汎用性をなくした代わりによりDeepLearningに必要な演算を高速にできるようにしたものです。 Why TPU? TPUとは？ どの程度高速なのか どうやって使うのか PyTorch-XLA 準備 インストール 実装 インストール部 結果可視化 学習 最後に Why TPU? TPUとは？ TPUはニューラルネットワークの演算専用のアーキテクチャです。 一言で使うモチベーションをお伝えするのであれば「速いから」の一言です 他の用…

皆さんこんにちは お元気ですか。週末はALASKA2の準備をはじめてみました。さて、今回のAlbumentationの拡張方法を書いておきます。 AlbumentationはKaggleなどの画像コンペでよく利用されるData Augmentation（データ拡張）のライブラリです。 Albumentationは様々なシチュエーションを想定して継承元のクラスがいくつかあります。 これらを継承し実装することで新しいAugmentationのクラスを開発できます。今回はどうすればAlbumentationで新しいData Augmentationのクラスを作成できるのかを記載します。 Albume…

皆さんこんにちは お元気ですか。ついにクーラーが必要になってきました。 電気代が心配ですがなんとかなるでしょう。本日はPyTorchの研究開発を加速する「pytorch-pfn-extras」を紹介します。 pytorch-pfn-extras pytorch-pfn-extrasとは PyTorchを使った研究開発の促進のために開発されているライブラリです。 こちらの開発元はChainerを開発していたPreferred Networks社によるものです。github.comChainerの頃にはあったTrainerに似ている構成（厳密にはクラス構成が異なる）やIgnite連携が用意されてお…

皆さんこんにちは お元気ですか。動画編集処理スキルがなさすぎて非常に困惑しております。さて少し前のコンペティションになりますが、Bengali.AIのコンペティションの解説をYoutubeでやってみました。 ※Bengali.AIのコンペのページはこちらです。www.kaggle.comコロナで集まって反省会するのも難しいご時世ですので、このYoutubeの流れに乗ってみるのもありかなと思ってはじめてみました。 堅苦しく集まって見るよりも、なにかの暇つぶしのお供ぐらいで見てもらえればと思います。Bengaliはベンガル語の手書き文字画像から3種からなるベンガル語の構成要素を当てるコンペです。 …

皆さんこんにちは お元気ですか。ついに自宅のパスタがなくなりそうです。さて、本日のテーマはcmakeです。 大半の人のcmake、実はこんな感じなのではないでしょうか。 インストール時にお世話になる（おまじない）けど、何もわからない（文字通り） 仮に見たとしても何をやっているのかわからない。 私もある程度、これらに該当する人なわけです。 しかし、このおまじない系はまると長時間はまってとても困るといった問題がありました。 ということで改めてcmakeをきちんと勉強しておこうと思った次第です。 CMake インストール Ubuntu Mac(Homebrew) CentOS CMakeを使ってC+…

皆さんこんにちは。 お元気ですか。自粛ムードはまだまだ続きそうですね。本日は少し前の発表された勾配ブースティングの手法NGBoostを紹介しようと思います。 NGBoostについて NGBoostとは？ NGBoostは予測の不確実性をも推定する勾配ブースティングのアルゴリズムです。 従来までは、例えば温度を推定する場合、30度しか出ませんでした。 しかし、このNGBoostでは、どの程度30度らしいかも推定できます。 Kaggleよりも業務でフォールバックの機能として使えるので、便利で使い方の幅も感じるところです。github.com インストール 他のライブラリ同様、pipコマンド一発でイ…

皆さんこんにちは お元気ですか。3月末というのに、雪積もっていてすごかったです。さて、本日はPythonでの環境の管理方法を紹介します。 今まではAnacondaを利用しており、それを利用してimport/exportする方法もあります。 これに加えて最近はPipenvも増えたようでもあり、それら紹介をします。 なぜ、環境の管理をする必要があるのか？ 誰もが同じ環境を再現し、環境による問題を起こさないためです。 仕事やOSSで複数人でのプロジェクトで環境を統一しないと、依存ライブラリのバージョンによる問題が発生することもあります。 そのため、環境を統一することは非常に重要です。 環境構築の方法…

皆さんこんにちは お元気でしょうか。本日はEfficientNetをPyTorchで利用します。 私も頻繁に利用しますが、時々忘れてしまうのでメモ EfficnetNetについて EfficientNetとは？ 幅、深さや解像度に関係性を導き出されたニューラルネットワークのアーキテクチャ。 SoTAを出したが、従来より8.4倍小さく、6.1倍の高速化を実現しています。 EfficientB0-B7（今はそれ以上もあった気もしますが）まで存在し、精度・性能により使い分けできます。 Kagglerたちは最近このニューラルネットワークをソリューションに利用するようになりました。（ResNetより増え…

皆さんこんにちは お元気でしょうか。COVIT-19起因で引きこもっているため、少しずつ自炊スキルが伸びていっています。以前、実験管理に関していくつかのソフトウェアを紹介しました。 その中で、MLFlow Trackingが一番良さそうではあったのでパイプラインに取り込むことを考えています。 もう少し深ぼって利用方法を把握する必要があったので、メモ代わりに残しています。nonbiri-tereka.hatenablog.com MLFlow Trackingのおさらい MLFlowとは MLFlowはプラットフォームです。機械学習のデプロイやトラッキング、実装のパッケージングやデプロイなど幅広…

皆さんこんにちは お元気ですか。最近自炊が少しずつ捗ってきました。本日はデータ分析でよく起こる「Memory Error」の対策を書いていこうと思います。 今回のはGPUではなく、CPUです。 そもそもなぜ「Memory Error」と遭遇するのか 大量のデータを解析する、もしくは、大量の特徴量を扱うからです。 または、途中の巨大途中処理が原因で載らなくなったとかですね。 その結果、マシンが落ちることもデータ分析している人が陥るよくあることです。その場合の処方箋を書いていこうと思います。 メモリ対策 不要な変数のメモリを開放する。 一番シンプルで、もういらないから消してしまえという方式です。 …

皆さんこんにちは お元気ですか。私は元気です。atmaCup#4に参加して5位だったのでその報告を書きます！ 前回より良く少しほっとしていますが、賞金圏内には届きませんでした。 概要 atmaさんと一般社団法人リテールAI研究会さんとの合同開催で開かれました。 お題はスーパー一回の購買で特定のカテゴリの商品を購入するかどうか。でした。 ログに今回推定するカテゴリではないものは含まれており、それらと同時にその特定のカテゴリの商品を購入するかを推定します。開催期間は今までと異なり、一週間です。 今回から運営がSlackに#lb-liveチャンネルを作成していました。 このチャネルはTop10の順位…