GPUマシン環境整備4 〜 Ubuntu20.04へ移行（再インストール）

また再インストールしそうな気がするのでメモ。 Ubuntu20.04インストール Homepage Ubuntu Japanese Teamの日本語Remixを利用 インストールしてまずは、sudo apt update -y && sudo apt upgrade -yする。 RTCローカルタイム設定 vz-shark.hatenablog.com # RTCをローカルタイムとして扱うように設定 $ timedatectl set-local-rtc 1 シャットダウン時「Stopping Job 〜」で90秒待たされる件 長いので30秒未変更する。 $ sudo vi /etc/sys…

イメージ・セグメンテーション

Image segmentationで参考になったリンク。 Preferred Networksの動画（Saitohさん） www.youtube.com わかりやすい。 Negative Mindの人のブログ FCN (Fully Convolutional Network)：ディープラーニングによるSemantic Segmentation手法 NegativeMindException ブログとても参考になる。 TensorFlow 2.0のチュートリアル Image segmentation TensorFlow Core tf.Kerasのサンプルコードがある。Unetの形。…

Windows10 ライセンス認証情報の表示／編集

slmgr.vbs （ライセンスマネージャ）の起動 slmgr.vbsを実行する。オプションなしだとヘルプが表示される。 > rem 通常は以下でGUI表示される。 > slmgr.vbs > rem 上記でダメな場合(拡張子関連付けがされていない場合） > wscript c:\Windows\System32\slmgr.vbs > rem CUIで結果を表示したい時 > cscript c:\Windows\System32\slmgr.vbs ※以降は便宜上CUIにて説明。 ライセンス情報表示(/dlv) > rem 以下で現在のライセンス情報表示(表示内容は*でマスク） > cscr…

GPUマシン環境整備3 〜 外出先MacBook ⇨VPN ⇨自宅GPUマシン使用

目的 外出先から自宅GPUマシンを使えるようにする。 ※VPNは別途設定済み。 SSHのサーバとtmuxを入れる sudo apt install -y openssh-server sudo apt install -y tmux クライアント側(Mac)で古い鍵を削除 sshdを再インストールするとssh-keygenでキーが再生成されるので、前のキーが登録されているクライアントから接続すると 「鍵が変わってるよ」旨のエラーがでる。以下のようにknown_hostsからホストのキーを削除することで対処。 （本当は鍵を取っておいて再利用するべきなのでしょうが・・・） ssh-keygen -…

GPUマシン環境整備2 〜 cuda / pytorch / tensorflow / chainer / jupyter を使えるようにする

目的 ディープラーニングフレームワーク環境を整える フレームワーク毎に仮想環境を使用する Jupyterで仮想環境カーネルを切り替えられるようにする Cuda 公式CUDA Toolkit 10.2 Download NVIDIA Developer をみると、cuda10からnvidiaのリポジトリからインストールできるようになったのでこれを使う。 以下の説明の通りにインストールで得に問題なし。以前のnouveauの苦労はない。すばらしい。 https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x8…

GPUマシン環境整備1 〜 Ubuntu18.04へ移行（再インストール）

また再インストールしそうな気がするのでメモ。 Ubuntu18.04インストール Homepage Ubuntu Japanese Teamの日本語Remixを利用 全てデフォルト値（標準構成）でインストール まずは、sudo apt update -y && sudo apt upgrade -yする。 grub設定変更 起動時にコンソールログがズラズラでるようにする(quiet splashをやめる) 。見た目がアレだけど問題発生時に備えておく。 grubのメニューがでるようにする(GRUB_TIMEOUT_STYLEを変更) nomodesetは今回はなくて大丈夫だった。 タイムアウ…

機械学習系で為になった記事

ブックマーク代わりです。随時更新します。 Autoencoder Building Autoencoders in Keras (kerasのブログ記事) Kerasで学ぶAutoencoder (elixのブログ記事)

Ubuntuでgoogle drive をマウントする

google drive をマウントする Ubuntu標準でgoogleドライブをマウントする機能（設定⇛オンラインアカウント⇛googleの「ファイル」を「ON」する）があるが遅過ぎてダメなので以下を使う。 GitHub - astrada/google-drive-ocamlfuse: FUSE filesystem over Google Drive #インストール $ sudo add-apt-repository ppa:alessandro-strada/ppa $ sudo apt-get update $ sudo apt-get install google-drive-oc…

テキスト選択でポップアップ翻訳する 〜 GoldenDict 〜

目的 英語テキストをマウスで選択すると翻訳結果がポップアップされるようにする 英語⇛日本語の単語翻訳。 環境はUbuntu18.04 GoldenDict（辞書ソフト）について http://goldendict.org/ マウスでテキスト選択するとポップアップ表示してくれる便利な辞書ソフト StarDictの後継ソフトのようです・・・ オンライン辞書やwikiやローカル辞書を使える クロスプラットフォームで linux / win / mac 等で使える。 手順 GoldenDictインストール sudo apt -y update sudo apt -y install goldendic…

『postfix』 外部smtpサーバ(gmail)経由でメール送信する

動機 ①運用しているWebサーバからメール送信したい ⇛ ②自前でsmtpサーバを立てる ⇛ ③gmail宛にメール送信すると、お前のsmtpサーバは信用ならないから中継しないと断れれる ⇛ ④困った ⇛ ⑤gmailアカウントでsmtp認証してそこからメール送信する。 ※最近はセキュリティーが厳しく③のようにはじかれたりする。以下は関係してそうなwiki Sender Policy Framework - Wikipedia 環境 普段DockerベースでWebサーバを運用しており、ベースイメージがDebian(Stretch)を使っているので、今回はこれがターゲットです。 Debian +…

Let's Encrypt! 〜無料でSSL化〜

背景 運用しているWebサーバを無料で、独自／常時SSL化する。 よくWordPress等のCMSが使えるマネージド型レンタルサーバを借りていれば無料でSSL化するサービスが提供されていますが、自分が借りているのは格安高性能クラウドのVultrです。SSLも自前で導入する必要があります。 Let's Encrypt! 云わずと知れた、無料で使えるSSL認証局 (Certification Authority (CA) )です。 日本語ポータルもあるのが助かりますね・・・ letsencrypt.jp 無料で SSL/TLS サーバ証明書を発行 非営利団体の ISRG (Internet Sec…

自作GPUマシン完成（フェーズ1）

『手元にGPUマシンを』～シリーズ第5回～ やっとGPUを買いました。最終的にGTX1080tiにしました。10月中旬に買ってとりあえずGPUマシンは完成していたのですがなにかと時間がなく、ブログにも少し飽きてたのでほったらかし状態でした。やっとモチベーション戻ってきたので再開したいとおもいます。 前回までのあらすじと本シリーズについて vz-shark.hatenablog.com 迷ったあげくPalitの1080tiに RTX2080tiですがMSIのGaming X Trioがコアクロックも高めで静寂でよく冷えると評判が良いので狙っていたのですが、10月中旬の時点で在庫が劇薄でなかなか手…

「手元にGPUマシンを」シリーズインデックス

『手元にGPUマシンを』シリーズ投稿のインデックスページです。 動機。今までのあらすじ。まとめなど。（随時更新中・・・） 動機 今まで初期コスト0で始められるクラウドのGPUインスタンスを使用していました。しかし開発中はコーディング／デバック／休憩／ご飯／犬の散歩／雑用etcで何かとアイドル時間が長く、クラウドVM上で開発するのはコスト的に効率が悪いという結論に至りました（まあ初めから分っていた事ですが）。こまめにインスタントを起動／終了して節約するのも悪くないですが何しろ面倒くさいです。なので今後は手元にGPUマシンを置き、時間課金を気にすることなく開発／デバック／犬の散歩を行い、GPUパワ…

GCP認定～01「Google Cloud Platform」

GCP (Google Cloud Platform) 概要 現在Googleが提供しているクラウドサービスのブランドと特徴 G Suite Gmail、GoogleDrive、Googleハングアウトなどのグループウェアを提供するSaaS Google Clound Platform ソフトウェア開発、実行基盤を提供するIaaS/PaaS GCPで提供している主なサービス カテゴリ GCPサービス名 サービス概要 管理・運用 Cloud Console ブラウザ上の総合管理ツール（GUI) Cloud Shell ブラウザ上で実行するコマンドラインインターフェース Stackdriver 統…

コマンドラインで回線スピード測定(speedtest-cli)

www.speedtest.net 上記Speedtest.netはWeb版だけでなくコマンドライン版の測定ツールも提供しています。 インストール $ sudo pip install speedtest-cli 使い方 実行 speedtest-cliを実行するだけでping応答が早いサーバーを選びスピードテスト（Down/Up)をしてくれます。 $ speedtest-cli Retrieving speedtest.net configuration... Testing from my_whois_info(xxx.xxx.xxx.xxx)... Retrieving speedtes…

GeekBench4

GeekBench4の使い方メモです。 GeekBench4について 概要 www.geekbench.com に有る通り、クロスプラットフォームでスマートフォン版もあります。また、ベンチマーク結果を同社の「GeekBench Browser」で共有でき、比較する為の指標があるのもよいです。 無料（トライアウト）版だと、 必ずサーバーにベンチマーク結果が送られる CUDAのベンチマークがとれない といった制限が付きますが、CPUとOpenCLのベンチマークがとれるので結構使えます。 料金 有料版は、ユーザーライセンスで以下の料金体系。 ライセンス 料金 USD Win Mac Linux 結果…

鯖ラー 第4回「計量」※随時更新中

VMインスタンスの情報収集するためのメモです。 まるで獲ってきた鯖の計量をするかのの如く・・・ 情報収集用コマンド UnixBenchとlscpuなどを使って情報収集するためのものです。シェルスクリプトではなくターミナルにコピペする形式です（scpとかwgetとか面倒くさい）。なにか後から気づいたら随時更新してきます。 echo ""; \ echo "====================="; \ echo " measurement for Ubuntu"; \ echo "====================="; \ echo ">>>>>>>>>>>>>>>>>>>>>>>>…

鯖ラー 第3回「沿岸漁業」

海外の鯖屋さんのうち、日本リージョンがあるものを試してみる。 まるで遠洋から日本近海へと回遊してきた鯖を獲る沿岸漁業の如く・・・ 大手(AWS/GCP/Azuru)は沢山情報があるので今回は扱わないことにする。次回以降に気になるサービスをピックアップして試していこうと思う。 今回は比較的情報が少なめな、海外の会社のサービスで、日本リージョンがあるものの中から、割安なものをターゲットにする。 鯖屋さんを探す Vultr 全般 管理コンソールUI(Web)について 機能について 機能 バックアップ 負荷管理 セキュリティ 性能 Linode 全般 管理コンソールUI(Web)について 機能について…

netcat(nc)コマンド

なにかと便利なnetcatの覚書です。 全般 コマンド名について Verbose(-v)について IPのバージョンの明示( -4 / -6 ) ローカルの IPの明示( -s) と ポートの明示(-p) ※1 環境について TCP関係 TCPクライアント TCPサーバ（-l) ※1 TCPサーバで複数セッション（-k) ※1 TCPクライアント／サーバーの実行時の様子 ※1 http GET リクエスト ポートスキャン(-z) UDP関係 UDPクライアント(-u) UDPサーバ(-lu) ※1 UDPクライアント／サーバーの実行時の様子 ※1 全般 コマンド名について ncでもnetcatで…

鯖ラー 第2回「 選別」

各社が提供しているVMの品定めをしつつ相場や料金体系を把握していく。まずは予算範囲内で大まかにスペックや価格を比べる。 まるで獲ってきた鯖を選別するかの如く・・・ 条件 月額1000〜2000円ぐらいを目処に各社のサービスをスクリーニングする。世界の大手3社（アマゾン、グーグル、マイクロソフト）、国内老舗（サクラ）、格安（DigitalOcean/Linode/Scaleway）を対象とした。 また、外貨決算のサービスは、現在(2018/10/09)の為替レートで円換算している。米ドル( $1 / 113.74円)、ユーロ（€1 / 131.18円)。 ※root権限不要であれば、月数百円から…