CrossRefAPIを使ってみる[CrossRefAPI]

論文からのテキストマイニングをしてみたくなったので，様々な出版社のDOI情報を取得可能なCrossRefAPIを使ってみる． しかし，今は時間がないのでざっくりとまとめる． インストール方法 pip install crossrefapi クエリの指定方法 from crossref.restful import Works works = Works() w1 = works.query(title='deep learning') for item in w1: print(item['title']) クエリ一覧 github.com

failed: libcuda.so.1: cannot open shared object file: no such file or directory

対処法 sudo apt-get install libcuda1-415 libcuda.so.1が無いことが原因。 github.com

JSONファイルを綺麗に表示する[JSON]

まずは，jqをインストール． brew install jq 表示 cat result.json jq . { "hoge": { "precision": 0.9999999999990001, "recall": 0.9999999999990001, "f1_score": 0.9999999999940001 }, "hoge2": { "precision": 0.9999999999983333, "recall": 0.9999999999983333, "f1_score": 0.9999999999933333 }, "hoge3": { "precision": 0.…

Spyderでタブ補完でインデントされるときの対処法[Spyder][Python]

Spyderを使っていて，TABキーを押したとき，補完ではなくインデントされる場合は， Preferences > Editor > Tab always indent のチェックを外す．

Jupyter labをDockerコンテナで使うときのコマンド[Jupyter]

jupyter lab --ip 0.0.0.0 --allow-root

Flairでお気軽にNERを試す[Flair][NLP][NER]

Flairが入ったDockerfileをcloneしてくる． git clone https://github.com/poteha/docker-nlp.git DockerfileからFlairのImageを作成 docker build -t nlp-gpu -f ./Dockerfile.gpu . 作成したImageからcontainerを立てる docker run -it --runtime=nvidia nlp-gpu:latest bash コンテナに入って，Flairのアップデートを行う pip install -U pip pip install -U flair `` …

Dockerのコンテナ・イメージの保存場所を変更[Docker]

Docker のイメージやコンテナは標準設定だと /var/lib/docker に格納される. しかし, それではメインストレージの容量が膨らんでしまったときに収集がつかなくなってしまうので, サブのストレージに格納したい. まずはdockerを止める． $ sudo service docker stop $ sudo systemctl stop docker docker.serviceファイルをコピーし, Unitファイルを編集 sudo cp /lib/systemd/system/docker.service /etc/systemd/system/ /etc/systemd/s…

BERTコンテナを作ってDockerHubで公開してみた[Docker][BERT]

最近，AWSやスパコンに触れる機会が多くなったので，スペックのベンチマーク用に汎用言語モデルBERTのDockerコンテナを作ってみることにした． BERTコンテナの仕込み 以下にBERTコンテナを構築するまでの流れを淡々と述べる． Tensorflow公式が提供するコンテナをインストールする． $ docker run --runtime=nvidia -it --name "bert" tensorflow/tensorflow:latest-gpu Pythonのバージョンを確認 python -V Python 2.7.12 このコンテナ，何故かpython2にしかTensorflow…

Docker Hubに自作Imageをアップする[Docker]

まずはじめに，Docker Hubでアカウントを作成． 次に，イメージのIDを確認し，タグ付けを行う． docker tag xxxx yyyy/zzzz:latest xxxx: イメージID yyyy: Docker HubのID zzzz: イメージ名 Docker Hubにログイン． docker login --username=yyyy パスワードを聞かれるので入力． docker push yyyy/zzzz:latest 以上．

CUDAのパスを通す2行

$ export CUDA_HOME=/usr/local/cuda $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${CUDA_HOME}/lib64

CUDA-cuDNN, Tensorflow-cuDNNの対応表

Tensorflow - cuDNN https://www.tensorflow.org/install/source#common_installation_problems CUDA - cuDNN https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

Your server does not have third-party cookies enabled [Cloud9][iPad Pro][AWS]

### 回避法ブラウザをSafariに変更。 「サイト越えトラッキングを防ぐ」という設定をオフにする。 https://support.apple.com/ja-jp/guide/safari/sfri40732/mac ※iOSの場合、上の設定は Chromeでは不可 https://support.google.com/chrome/answer/2790761?co=GENIE.Platform%3DiOS&hl=ja&oco=1 ### 状況 iPad ProからCloud9に接続したとき、Your server does not have third-party cookies en…

AWS-ECRでプライベートなDockerイメージを管理する[AWS-ECR]

会社で研究をしていると社外へは決して出してはいけないコンテナを作ってしまうことがある． 世の中には，作成したコンテナをイメージ化して共有するDocker Hubなるサービスがある．しかし，Docker Hubは基本的にオープンなサービスなので，社秘のコンテナをアップするなどしたら，情報インシデント事故に発展してしまい，最悪クビになってしまう． そこで見つけたのがAWS-ECRである．ECRとはElastic Container Registry (ECR)の略で，AWSが提供するDockerコンテナレジストリなのである．ECRは，プライベートなので社秘のコンテナを扱うのには非常に都合後良いのだ…

産総研のスパコンでPythonを使ってみた[HPC][ABCI]

ABCIとは? 利用手順 事務処理 公開鍵の登録 ターミナルを開き，ポートフォワーディング 別のターミナルを開き，ABCIのログインノードに入る (参考)ポートフォワーディングとログインコマンドは./ssh/configに書いておくと楽 ABCIでPythonを利用してみる ABCIとは? 人工知能・機械学習・深層学習での使用を目的とした世界最大級のスパコン*1である． 利用手順 事務処理 ABCIを使用するにあたって各種事務手続きをしなければならない．筆者はこの辺よく知らないので割愛． 公開鍵の登録 事務処理後に送られてくるメールでABCIポータルのURLが送られてくるので，そこで公開鍵の登…

namacoを使って簡単にNERを動かしてみる[NER][NLP]

現在テキストからの情報抽出についての業務に取り組む筆者は，予備検証用にNERを実行したかった． しかし，自然言語処理初学者の私がスクラッチからコーディングするとあっという間に日が暮れてしまう． なので，ネットサーフィンして使いやすそうなGit

MBPとAWSでAE-modelの学習速度比較[ML]

Macbook Proを機械学習のローカル開発環境に使えないかと思ったのだが，学習速度が遅すぎると不便なので，GPU環境と比べてどれくらい遅くなるのかを事前に検証してみた． 検証するにあたって比較したのは，Macbook Pro (2018) とAWS EC2である． AWS-EC2 g3.8xlarge: 32 CPU, 2 GPU(Tesla M60, Mem 16 GB) MacBookPro: Intel Core i9(2.4 GHz, 8 core) 並べてみるとAWSのスペックの良さが際立つ．どこまでMacで太刀打ちできるのか楽しみだ．筆者は，速度が1/10くらいには落ちるのでは…

CUDA10.0ではなく10.1がインストールされてしまう[CUDA]

TensorflowがCUDA10.0にしか対応していないので，最新の10.1では無い方をインストールした時の話． https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type=debnetwork のベージからOSなどを選択した状態で出現する公式の手順にしてがってインストールしたところ，CUDA10.0ではなくCUDA10.1がインストールされてしまった．debパッケージも10.0のものを選択…