のんびりしているエンジニアの日記

Pythonの環境を管理・再現する

皆さんこんにちは お元気ですか。3月末というのに、雪積もっていてすごかったです。さて、本日はPythonでの環境の管理方法を紹介します。 今まではAnacondaを利用しており、それを利用してimport/exportする方法もあります。 これに加えて最近はPipenvも増えたようでもあり、それら紹介をします。 なぜ、環境の管理をする必要があるのか？ 誰もが同じ環境を再現し、環境による問題を起こさないためです。 仕事やOSSで複数人でのプロジェクトで環境を統一しないと、依存ライブラリのバージョンによる問題が発生することもあります。 そのため、環境を統一することは非常に重要です。 環境構築の方法…

2020/03/30 08:15

PyTorchで高精度・高性能のEfficientNetを利用する

皆さんこんにちは お元気でしょうか。本日はEfficientNetをPyTorchで利用します。 私も頻繁に利用しますが、時々忘れてしまうのでメモ EfficnetNetについて EfficientNetとは？ 幅、深さや解像度に関係性を導き出されたニューラルネットワークのアーキテクチャ。 SoTAを出したが、従来より8.4倍小さく、6.1倍の高速化を実現しています。 EfficientB0-B7（今はそれ以上もあった気もしますが）まで存在し、精度・性能により使い分けできます。 Kagglerたちは最近このニューラルネットワークをソリューションに利用するようになりました。（ResNetより増え…

2020/03/26 08:35

MLFlow Trackingを使って、実験管理を効率化する

皆さんこんにちは お元気でしょうか。COVIT-19起因で引きこもっているため、少しずつ自炊スキルが伸びていっています。以前、実験管理に関していくつかのソフトウェアを紹介しました。 その中で、MLFlow Trackingが一番良さそうではあったのでパイプラインに取り込むことを考えています。 もう少し深ぼって利用方法を把握する必要があったので、メモ代わりに残しています。nonbiri-tereka.hatenablog.com MLFlow Trackingのおさらい MLFlowとは MLFlowはプラットフォームです。機械学習のデプロイやトラッキング、実装のパッケージングやデプロイなど幅広…

2020/03/23 08:14

データ分析に役立つメモリ管理・削減方法

皆さんこんにちは お元気ですか。最近自炊が少しずつ捗ってきました。本日はデータ分析でよく起こる「Memory Error」の対策を書いていこうと思います。 今回のはGPUではなく、CPUです。 そもそもなぜ「Memory Error」と遭遇するのか 大量のデータを解析する、もしくは、大量の特徴量を扱うからです。 または、途中の巨大途中処理が原因で載らなくなったとかですね。 その結果、マシンが落ちることもデータ分析している人が陥るよくあることです。その場合の処方箋を書いていこうと思います。 メモリ対策 不要な変数のメモリを開放する。 一番シンプルで、もういらないから消してしまえという方式です。 …

2020/03/17 08:04

atmaCup#4に参加して5位でした

皆さんこんにちは お元気ですか。私は元気です。atmaCup#4に参加して5位だったのでその報告を書きます！ 前回より良く少しほっとしていますが、賞金圏内には届きませんでした。 概要 atmaさんと一般社団法人リテールAI研究会さんとの合同開催で開かれました。 お題はスーパー一回の購買で特定のカテゴリの商品を購入するかどうか。でした。 ログに今回推定するカテゴリではないものは含まれており、それらと同時にその特定のカテゴリの商品を購入するかを推定します。開催期間は今までと異なり、一週間です。 今回から運営がSlackに#lb-liveチャンネルを作成していました。 このチャネルはTop10の順位…

2020/03/09 08:10