小粒な技術メモ

起動中のコンテナに別ターミナルからアクセス[Docker]

docker exec -it my-container /bin/bash あるコンテナで学習を回すと，そのコンテナが結果出力で占有させてしまったので上のコマンドで， 2つ目のコンソールを立ちあげて，学習とLinuxの設定を同時に実施した．

2019/07/31 13:40

CUIに出力を表示させずに起動[Jupyter]

jupyter lab --no-browser --port=8888 --ip=0.0.0.0 --allow-root & Control+C を押してもサーバーが止まることは無くなる． しかし，Jupyter lab上でアクションがあると，ターミナル上に結果が吐き出される．

2019/07/31 13:14

初期設定[JupyterLab]

pip install jupyterlab Node.jsの導入 curl -sL https://deb.nodesource.com/setup_12.x sudo -E bash - sudo apt-get install -y nodejs Variable Inspectorの導入 jupyter labextension install @lckr/jupyterlab_variableinspector

2019/07/31 11:51

研究をするのにオススメなDockerImage[随時更新][Docker]

自然言語処理にオススメ github.com FlairやSpacyなどが含まれている GPUにも対応している Flairを使う場合，pip install -U pip と pip install -U flairでアップデートを行う必要がある．

2019/07/31 10:17

NextCloudにコマンドラインでアクセス[NextCloud]

今回は，NextCloudにコマンドラインでアクセスし，共有フォルダ内の情報参照とファイルのダウンロード・アップロードとファイルの共有リンクの発行を行う方法を紹介する． 共有フォルダ内の情報参照 LinuxやUnixのコマンドラインでcurlを使って情報を取得する． 構文 curl -u [ユーザー名] 'http://[ホストサーバーのIPアドレス]/remote.php/dav/files/[ユーザー名]/[参照先ディレクトリ]' -X PROPFIND 上のコマンドを打ち込んだ後，パスワードを入力すると，ごちゃごちゃとしたXMLでディレクトリ内の情報が返ってくる． 入力例 curl -u…

2019/07/30 16:09

jupyter-notebookを起動する時のコマンド[jupyter]

jupyter notebook --port=8888 --ip=0.0.0.0 --allow-root

2019/07/22 17:18

画像ギャラリーをワンクリックで作成[HTML]

Arles Image Explorer をダウンロードする Webサイト用の画像ギャラリーを生成するツール「Arles Image Explorer」を下記のサイトからダウンロードし，インストールする． https://www.digitaldutch.com/arles/ 対応OSはWindows Arles Image Explorerを開くと，以下のような画面がでてくる． 画像をドラッグアンドドロップする 画像をドラッグアンドドロップし，アップロードを行うと，以下のような画面になる． 各種設定を行う 画像をアップロード後，左上のWeb Pageボタンを押して各種設定を行う． 今回は，ほ…

2019/07/14 19:57

NLTKでアノテーター間の合意度(Inter Annotator Agreement)[NLTK]

NERに使うタグ付けデータをアウトソースにより作成したのだが，アノテーションの信頼度が分からない． このため，NLTKでアノテーター間の合意度を算出した．これはその時のメモである． 3人のアノテーターが付けたラベルに対し，Cohen's kappa(1960)とKrippendorff alpha(1980)を算出してみる． from nltk.metrics import agreement toy_data = [['1', 5723, 'ORG'], ['2', 5723, 'ORG'], ['3', 5723, 'ORG'], ['1', 55829, 'LOC'], ['2', 55…

2019/07/08 19:35

Git LFS のインストール手順[Git]

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh sudo bash sudo apt-get install git-lfs git lfs install 上の3ステップでインストール完了 そして、以下みたいなファイルがある場所で version https://git-lfs.github.com/spec/v1 oid sha256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx size 223178…

2019/07/08 00:23

学習を複数回繰り返した際にOMMがでたときの対処法[GPU]

対処法 nvidia-smi からプロセスのPIDを確認し、kill コマンドでプロセスを消すと解消。 nvidia-smiコマンドを入力すると、下の方にプロセスがPID付で一覧表示される。あとは、kill PIDでプロセスを削除し、メモリを解放する。 上の画面だと、1252Mもメモリをくっているプロセス(PID=22322)をkill 22322で消すと、OMMエラーが解消された。

2019/07/07 13:25

ラズパイを固定IP化するときは手持ちのルーターでDHCP固定割当をする[raspi]

LAN(ローカル)環境でラズパイを使うときは，ルーターで設定をおこなうことでIPの固定化ができる． Buffaloのルーターでのやりかた www.buffalo.jp

2019/07/06 22:23

sudo dpkg-reconfigure keyboard-configurationが再起動の度にリセットされる[Ubuntu]

困りごと sudo dpkg-reconfigure keyboard-configuration Ubuntu16.04で上のコマンドをうちこんでも再起動の度に設定がリセットされてしまう。 対象法 設定ファイルを直接変更 /usr/share/ibus/component/mozc.xml <layout>○○<layout>を<layout>jp</layout> /etc/default/keyboard XKBMODEL=◯◯をXKBMODEL="pc105" XKBLAYOUT=◯◯をXKBLAYOUT="jp,jp" 参考 ja.stackoverflow.com

2019/07/06 13:15

nvccとnvidia-smiのCUDAバージョンが違う[CUDA]

下記に記事を見つけたので、後でまとめる。 stackoverflow.com

2019/07/06 13:12