GPUマシン環境整備4 〜 Ubuntu20.04へ移行（再インストール）

また再インストールしそうな気がするのでメモ。 Ubuntu20.04インストール Homepage Ubuntu Japanese Teamの日本語Remixを利用 インストールしてまずは、sudo apt update -y && sudo apt upgrade -yする。 RTCローカルタイム設定 vz-shark.hatenablog.com # RTCをローカルタイムとして扱うように設定 $ timedatectl set-local-rtc 1 シャットダウン時「Stopping Job 〜」で90秒待たされる件 長いので30秒未変更する。 $ sudo vi /etc/sys…

イメージ・セグメンテーション

Image segmentationで参考になったリンク。 Preferred Networksの動画（Saitohさん） www.youtube.com わかりやすい。 Negative Mindの人のブログ FCN (Fully Convolutional Network)：ディープラーニングによるSemantic Segmentation手法 NegativeMindException ブログとても参考になる。 TensorFlow 2.0のチュートリアル Image segmentation TensorFlow Core tf.Kerasのサンプルコードがある。Unetの形。…

Windows10 ライセンス認証情報の表示／編集

slmgr.vbs （ライセンスマネージャ）の起動 slmgr.vbsを実行する。オプションなしだとヘルプが表示される。 > rem 通常は以下でGUI表示される。 > slmgr.vbs > rem 上記でダメな場合(拡張子関連付けがされていない場合） > wscript c:\Windows\System32\slmgr.vbs > rem CUIで結果を表示したい時 > cscript c:\Windows\System32\slmgr.vbs ※以降は便宜上CUIにて説明。 ライセンス情報表示(/dlv) > rem 以下で現在のライセンス情報表示(表示内容は*でマスク） > cscr…

GPUマシン環境整備3 〜 外出先MacBook ⇨VPN ⇨自宅GPUマシン使用

目的 外出先から自宅GPUマシンを使えるようにする。 ※VPNは別途設定済み。 SSHのサーバとtmuxを入れる sudo apt install -y openssh-server sudo apt install -y tmux クライアント側(Mac)で古い鍵を削除 sshdを再インストールするとssh-keygenでキーが再生成されるので、前のキーが登録されているクライアントから接続すると 「鍵が変わってるよ」旨のエラーがでる。以下のようにknown_hostsからホストのキーを削除することで対処。 （本当は鍵を取っておいて再利用するべきなのでしょうが・・・） ssh-keygen -…

GPUマシン環境整備2 〜 cuda / pytorch / tensorflow / chainer / jupyter を使えるようにする

目的 ディープラーニングフレームワーク環境を整える フレームワーク毎に仮想環境を使用する Jupyterで仮想環境カーネルを切り替えられるようにする Cuda 公式CUDA Toolkit 10.2 Download NVIDIA Developer をみると、cuda10からnvidiaのリポジトリからインストールできるようになったのでこれを使う。 以下の説明の通りにインストールで得に問題なし。以前のnouveauの苦労はない。すばらしい。 https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x8…

GPUマシン環境整備1 〜 Ubuntu18.04へ移行（再インストール）

また再インストールしそうな気がするのでメモ。 Ubuntu18.04インストール Homepage Ubuntu Japanese Teamの日本語Remixを利用 全てデフォルト値（標準構成）でインストール まずは、sudo apt update -y && sudo apt upgrade -yする。 grub設定変更 起動時にコンソールログがズラズラでるようにする(quiet splashをやめる) 。見た目がアレだけど問題発生時に備えておく。 grubのメニューがでるようにする(GRUB_TIMEOUT_STYLEを変更) nomodesetは今回はなくて大丈夫だった。 タイムアウ…

機械学習系で為になった記事

ブックマーク代わりです。随時更新します。 Autoencoder Building Autoencoders in Keras (kerasのブログ記事) Kerasで学ぶAutoencoder (elixのブログ記事)

Ubuntuでgoogle drive をマウントする

google drive をマウントする Ubuntu標準でgoogleドライブをマウントする機能（設定⇛オンラインアカウント⇛googleの「ファイル」を「ON」する）があるが遅過ぎてダメなので以下を使う。 GitHub - astrada/google-drive-ocamlfuse: FUSE filesystem over Google Drive #インストール $ sudo add-apt-repository ppa:alessandro-strada/ppa $ sudo apt-get update $ sudo apt-get install google-drive-oc…

テキスト選択でポップアップ翻訳する 〜 GoldenDict 〜

目的 英語テキストをマウスで選択すると翻訳結果がポップアップされるようにする 英語⇛日本語の単語翻訳。 環境はUbuntu18.04 GoldenDict（辞書ソフト）について http://goldendict.org/ マウスでテキスト選択するとポップアップ表示してくれる便利な辞書ソフト StarDictの後継ソフトのようです・・・ オンライン辞書やwikiやローカル辞書を使える クロスプラットフォームで linux / win / mac 等で使える。 手順 GoldenDictインストール sudo apt -y update sudo apt -y install goldendic…

『postfix』 外部smtpサーバ(gmail)経由でメール送信する

動機 ①運用しているWebサーバからメール送信したい ⇛ ②自前でsmtpサーバを立てる ⇛ ③gmail宛にメール送信すると、お前のsmtpサーバは信用ならないから中継しないと断れれる ⇛ ④困った ⇛ ⑤gmailアカウントでsmtp認証してそこからメール送信する。 ※最近はセキュリティーが厳しく③のようにはじかれたりする。以下は関係してそうなwiki Sender Policy Framework - Wikipedia 環境 普段DockerベースでWebサーバを運用しており、ベースイメージがDebian(Stretch)を使っているので、今回はこれがターゲットです。 Debian +…

Let's Encrypt! 〜無料でSSL化〜

背景 運用しているWebサーバを無料で、独自／常時SSL化する。 よくWordPress等のCMSが使えるマネージド型レンタルサーバを借りていれば無料でSSL化するサービスが提供されていますが、自分が借りているのは格安高性能クラウドのVultrです。SSLも自前で導入する必要があります。 Let's Encrypt! 云わずと知れた、無料で使えるSSL認証局 (Certification Authority (CA) )です。 日本語ポータルもあるのが助かりますね・・・ letsencrypt.jp 無料で SSL/TLS サーバ証明書を発行 非営利団体の ISRG (Internet Sec…

自作GPUマシン完成（フェーズ1）

『手元にGPUマシンを』～シリーズ第5回～ やっとGPUを買いました。最終的にGTX1080tiにしました。10月中旬に買ってとりあえずGPUマシンは完成していたのですがなにかと時間がなく、ブログにも少し飽きてたのでほったらかし状態でした。やっとモチベーション戻ってきたので再開したいとおもいます。 前回までのあらすじと本シリーズについて vz-shark.hatenablog.com 迷ったあげくPalitの1080tiに RTX2080tiですがMSIのGaming X Trioがコアクロックも高めで静寂でよく冷えると評判が良いので狙っていたのですが、10月中旬の時点で在庫が劇薄でなかなか手…

「手元にGPUマシンを」シリーズインデックス

『手元にGPUマシンを』シリーズ投稿のインデックスページです。 動機。今までのあらすじ。まとめなど。（随時更新中・・・） 動機 今まで初期コスト0で始められるクラウドのGPUインスタンスを使用していました。しかし開発中はコーディング／デバック／休憩／ご飯／犬の散歩／雑用etcで何かとアイドル時間が長く、クラウドVM上で開発するのはコスト的に効率が悪いという結論に至りました（まあ初めから分っていた事ですが）。こまめにインスタントを起動／終了して節約するのも悪くないですが何しろ面倒くさいです。なので今後は手元にGPUマシンを置き、時間課金を気にすることなく開発／デバック／犬の散歩を行い、GPUパワ…

GCP認定～01「Google Cloud Platform」

GCP (Google Cloud Platform) 概要 現在Googleが提供しているクラウドサービスのブランドと特徴 G Suite Gmail、GoogleDrive、Googleハングアウトなどのグループウェアを提供するSaaS Google Clound Platform ソフトウェア開発、実行基盤を提供するIaaS/PaaS GCPで提供している主なサービス カテゴリ GCPサービス名 サービス概要 管理・運用 Cloud Console ブラウザ上の総合管理ツール（GUI) Cloud Shell ブラウザ上で実行するコマンドラインインターフェース Stackdriver 統…

コマンドラインで回線スピード測定(speedtest-cli)

www.speedtest.net 上記Speedtest.netはWeb版だけでなくコマンドライン版の測定ツールも提供しています。 インストール $ sudo pip install speedtest-cli 使い方 実行 speedtest-cliを実行するだけでping応答が早いサーバーを選びスピードテスト（Down/Up)をしてくれます。 $ speedtest-cli Retrieving speedtest.net configuration... Testing from my_whois_info(xxx.xxx.xxx.xxx)... Retrieving speedtes…

GeekBench4

GeekBench4の使い方メモです。 GeekBench4について 概要 www.geekbench.com に有る通り、クロスプラットフォームでスマートフォン版もあります。また、ベンチマーク結果を同社の「GeekBench Browser」で共有でき、比較する為の指標があるのもよいです。 無料（トライアウト）版だと、 必ずサーバーにベンチマーク結果が送られる CUDAのベンチマークがとれない といった制限が付きますが、CPUとOpenCLのベンチマークがとれるので結構使えます。 料金 有料版は、ユーザーライセンスで以下の料金体系。 ライセンス 料金 USD Win Mac Linux 結果…

鯖ラー 第4回「計量」※随時更新中

VMインスタンスの情報収集するためのメモです。 まるで獲ってきた鯖の計量をするかのの如く・・・ 情報収集用コマンド UnixBenchとlscpuなどを使って情報収集するためのものです。シェルスクリプトではなくターミナルにコピペする形式です（scpとかwgetとか面倒くさい）。なにか後から気づいたら随時更新してきます。 echo ""; \ echo "====================="; \ echo " measurement for Ubuntu"; \ echo "====================="; \ echo ">>>>>>>>>>>>>>>>>>>>>>>>…

鯖ラー 第3回「沿岸漁業」

海外の鯖屋さんのうち、日本リージョンがあるものを試してみる。 まるで遠洋から日本近海へと回遊してきた鯖を獲る沿岸漁業の如く・・・ 大手(AWS/GCP/Azuru)は沢山情報があるので今回は扱わないことにする。次回以降に気になるサービスをピックアップして試していこうと思う。 今回は比較的情報が少なめな、海外の会社のサービスで、日本リージョンがあるものの中から、割安なものをターゲットにする。 鯖屋さんを探す Vultr 全般 管理コンソールUI(Web)について 機能について 機能 バックアップ 負荷管理 セキュリティ 性能 Linode 全般 管理コンソールUI(Web)について 機能について…

netcat(nc)コマンド

なにかと便利なnetcatの覚書です。 全般 コマンド名について Verbose(-v)について IPのバージョンの明示( -4 / -6 ) ローカルの IPの明示( -s) と ポートの明示(-p) ※1 環境について TCP関係 TCPクライアント TCPサーバ（-l) ※1 TCPサーバで複数セッション（-k) ※1 TCPクライアント／サーバーの実行時の様子 ※1 http GET リクエスト ポートスキャン(-z) UDP関係 UDPクライアント(-u) UDPサーバ(-lu) ※1 UDPクライアント／サーバーの実行時の様子 ※1 全般 コマンド名について ncでもnetcatで…

鯖ラー 第2回「 選別」

各社が提供しているVMの品定めをしつつ相場や料金体系を把握していく。まずは予算範囲内で大まかにスペックや価格を比べる。 まるで獲ってきた鯖を選別するかの如く・・・ 条件 月額1000〜2000円ぐらいを目処に各社のサービスをスクリーニングする。世界の大手3社（アマゾン、グーグル、マイクロソフト）、国内老舗（サクラ）、格安（DigitalOcean/Linode/Scaleway）を対象とした。 また、外貨決算のサービスは、現在(2018/10/09)の為替レートで円換算している。米ドル( $1 / 113.74円)、ユーロ（€1 / 131.18円)。 ※root権限不要であれば、月数百円から…

鯖ラー 第1回「 疼き」

HatenaBlogが遅い 最近ブログ記事を書いていると反応が遅い。特にプレビューと編集を繰り返していると遅くなっていく気がする。無料版だからしょうがないのかなとおもいつつ、広告もめざわりなので、 はてなブログProにしようかと思ったら「1008円/月」ですね・・・ そのぐらいの予算があれば、レンタルサーバーでブログ運用できてしまう・・・ もう少し出せば、クラウドのVMインスタンスが使える・・・ どうせなら、自分で自分のサイトを運用してみようかな・・・・ っと言う具合に、「鯖ラー」のむしが疼きだした次第です。 鯖ラー サーバー遊びする人 ⇛ サーバーラー ⇛ サバラー ⇛ 鯖ラー 昔、インター…

virtualenv覚書

インストール $ sudo apt install virtualenv 使い方(基本的な流れ) 1．仮想環境構築 ・アプリ用にディレクトリを作成 ・virtualenvコマンドで仮想環境構築 user@host:~$ mkdir ~/testapp user@host:~$ cd ~/testapp user@host:~/testapp$ virtualenv ./ 2．仮想環境に入る ・source bin/activate を実行 ・プロンプトの先頭に(testapp)が付与され、どの仮想環境かが示される user@host~/testapp$ source bin/activate …

Windows／Ubuntuディアルブートでの時刻ズレ

WindowsとUbuntu(linux)のディアルブート環境において現在時刻が9時間ずれることがあります。 現象 以下の手順で時刻がどのようにズレるか把握できます。 電源投入。BIOSでRTC（ハードウェアの時計）の現在時間があっていることを確認(日本標準時間／UTC+9)。合っていない時は手動で合わせる。 Ubuntu起動。起動直後は＋9時間されている。数十秒ぐらいで時刻が合う。（NTPで時刻更生された。） PC再起動。BIOSでRTC確認。−9時間されている。 Win起動。−9時間されている。 Winで時刻更生をかける。（手動で行う。Win10はデフォルトだと同期間隔が1周間と長い） 時…

ssh-keygen（sshキー)

OpenSSHのの備忘録です。 ※ちなみにWin10からは標準でOpenSSHが使えるようになってます。 キーペアの作成 以下の例ではssh-keygenコマンドに -t rsa でRSA暗号化方式 -b 4096 で鍵長4096ビット -C "Your Commen" でコメント指定 -N "your_passphrase" でパスフレーズ指定 -f ~/.ssh/your-sshkey でファイル名を指定 オプション指定をしています。 よくみるのは、RSA 2048bit 、コメント＝自分のメアドでしょうか・・・ オプションを指定しなければインタラクティブに聞いてくるが、暗号は「 rsa …

Docker環境準備 〜 nvidia-docker

nvidea-docker インストール github.com のReadme.mdに従ってインストール＆動作確認。以下のようにnvidia-smiが動けば大丈夫。 $ docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi +-----------------------------------------------------------------------------+ NVIDIA-SMI 390.48 Driver Version: 390.48 ------------------------…

Docker環境準備 〜 docker-ce

docker-ceインストール docs.docker.com に従いインストール。 ところが、docker run hello-world したら Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.38/containers/json: dial unix /var/run/docker.sock: connect: permission denied…

消費電力モニタ付けてみた

『手元にGPUマシンを』～シリーズ第4回～ 肝心なGPUの購入がまだですが、先だって消費電力モニタをつけることにしました。GPUは電力食うので今のうちにモニタできるように準備しておきます。 前回までのあらすじと本シリーズについて vz-shark.hatenablog.com 消費電力モニタをつける 狙っているGPU（GIGABYTEの2080ti搭載のやつ）の情報を漁っていたら『推奨電力650W』と記載をみつけました。今自作してるPCの電源は700Wなのでギリギリ。ハイエンドGPUはやっぱ消費電力すごそうだな～っということで今のうちに消費電力モニタをつけることにしました。 さっそくAmazo…

PCIe補助電源ケーブルを流用してみた

『手元にGPUグマシンを』～シリーズ第3回～ ハイエンドGPUは補助電源が必要なんですね・・・しらなかったです。手元にPCIe補助電源ケーブルなんてありません。さてどうしたものか・・・ 前回までのあらすじ シリーズ第1回～『[GPUマシンの購入を検討してみた - vz-shark：Dive2Deep』 購入を検討したがお金がないので自作をすることに シリーズ第2回～『自作GPUマシンのパーツ購入 - vz-shark：Dive2Deep』 パーツ集め。組み立て。OSインストール。起動OK。しかし肝心なGPUはまだ購入検討中・・・ シリーズ第3回～（今回です） 手持ちのStronger社製電源の…

自分でLANコンセントをつけてみた

自宅の1階と2階の間をLANケーブルで結びました。屋根裏から壁を通してケーブル敷設し、壁に穴をあけてLANコンセントをつけました。今回は苦労した事や気を付ける点などのまとめと、使った道具のレビューを兼ねた投稿です。 ～いきさつ～ 自分の家は立地的に電波の入りが悪いようで、1Fの無線ルータからの電波が2Fに届きません。ルータは3階建てまでOKと銘打ったものなのに・・・。 業者に頼むと標準的な工事で大体3万円ぐらい。敷設する長さや家の構造によるメンテナンス性によっては追加費用がかかる場合があり実際に現場を見てみないと正確な見積もりがだせないとの事。最低でも3万か～、結構高いな～、ということで自分で…

jpegのexifを編集（コマンドライン編)

ネットでjpegファイルを公開するときに気になるのがjpegファイルに付与されているexif情報です。GPS位置情報や時刻情報などは個人の特定に繋がりかねません・・・ 。 exifを編集するGUIの便利なソフトはありますが、大量のjpegファイルを一枚ずつGUIベースのソフトで編集すのは面倒です。そこでコマンドライン一発で不要なexifを削除できないかと試行錯誤したので覚書です。 使用したソフト jhead コマンドラインベースのexifエディッタです。主にexif情報の表示や削除をする場合に使い勝手がよいです。 公式サイト Exif Jpeg header manipulation tool…

自作GPUマシンのパーツ購入

『手元にGPUマシンを』～シリーズ第2回～ 今回は自作GPUマシンのパーツ集めです。 前回までのあらすじ シリーズ第1回～『GPUマシンの購入を検討してみた - vz-shark：Dive2Deep』 購入を検討したがお金がないので自作を決断。 シリーズ第2回～（今回です） パーツ集め。組み立て。OSインストール。起動OK。しかし肝心なGPUはまだ購入検討中・・・ パーツ購入 手持ちの使えそうなものは、ミドルタワーケース＆電源、SATAのSSD(512GB)、Geforce GTX750、USB3.1の外付けHDD（2TB) ぐらいでしたので、以下を追加で購入しました。 マザーボード(X299…

GPUマシンの購入を検討してみた

『GPUマシンを』～シリーズ第1回～ ということで第1回目の投稿です。 まずは手っ取り早く購入を検討します。 さてどうなるか。よ～く考えよう～。お金はないですよ～。 背景 今まで初期コスト0で始められるクラウドのGPUインスタンスを使用していました。しかし開発中はコーディング／デバック／休憩／ご飯／犬の散歩／雑用etcで何かとアイドル時間が長く、インスタンス上で開発するのはコスト的に効率が悪いという結論に至りました（まあ初めから分っていた事ですが）。こまめにインスタントを起動／終了して節約するのも悪くないですが何しろ面倒くさいです。なので今後は手元にGPUマシンを置き、時間課金を気にすることな…