大きなテキストファイルをSCPするときは-Cをつけると速い

機械学習用のEC2インスタンスにファイル転送する際、大きなJSONファイルをSCPすると非常に時間がかかっていた。 しかし、オプション1つつけるだけでかなり早くなった。 (adsbygoogle = window.adsbygoogle []).push({}); つけたオプションは -C。以下のように使う。 scp -C from host:/to 実際手元で試してみたら、以下のように違いが出た。 -C なし 43MB 1.1MB/s 00:40 -C あり 43MB 9.8MB/s 00:04 おおよそ10倍の差がついた。 EC2インスタンスは時間課金なので、この差は大きいだろう。 …

AWS EC2の深層学習用インスタンスのJupyter Notebookでtqdmを使えるようにする

機械学習で非常に時間のかかる処理をするとき、AWS の EC2 インスタンスを立ててその上で実行している。 AMIは深層学習用のインスタンスを用いている。 aws.amazon.com Jupyter Notebookもプリインされている。 また、時間のかかる処理を可視化するのに便利なパッケージ tqdm があり、これも重宝している。 github.com tqdm は Jupyter Notebookもサポートしているが、上記AMIで動かすのには一苦労あった。 (adsbygoogle = window.adsbygoogle []).push({}); 結論から言えば、以下が必要だっ…

Pandas で 日付の入っているカラムを年でフィルタする

競馬情報で特定の年以降のレースを絞り込むときの便利な書き方がわかったので紹介する。 (adsbygoogle = window.adsbygoogle []).push({}); dateカラム（datetime型）が2019年以降のデータを選ぶには、ストレートにするとこのような感じになる。 import datetime data[data.date <= datetime.datetime(2019, 1, 1)] しかし、これはコード量的にも視覚的にもイマイチわかりにくい。 以下のように書くと、分かりやすくなる。 data.query('date >= 2019`) もし、2019…

Emacs + counsel/ivy + smart-hungry-delete でハマった

最近 Emacs の環境を更新して、helm から counsel/ivy に移行、またsmart-hungry-deleteも導入した。 ただ、なぜか C-x C-f でファイル一覧が出たときに上のパスに行けない（Backspaceが効かない）現象に遭遇した。 (adsbygoogle = window.adsbygoogle []).push({}); 結論としては、以下が問題だった。 (global-set-key (kbd "<backspace>") 'smart-hungry-delete-backward-char) どうやら、<backspace>が上書きされると上記の問…

競馬予想を始めた

まだ仮想通貨の取引の痛手が残っていて株取引はできていない（SBIに口座を開設しただけ…）。 それはさておき、最近興味があったが応用先のない機械学習の知識がついに役に立つ分野が見つかった。競馬だ。 無料で手に入る多数のパラメータがあり、結果がはっきりしていて、しかもリターンが金銭的に入ってくる。 (adsbygoogle = window.adsbygoogle []).push({}); 以下の記事を参考に、 netkeiba.com のデータを用いてLigthGBMで学習をしている。 cocon-corporation.com cocon-corporation.com また、以下の書…