5回 / 39日（平均0.9回/週）
ブログ村参加：2020/12/10
新機能の「ブログリーダー」を活用して、ohsawa0515さんの読者になりませんか？
1件〜30件
GitHub Actions から AWS CodePipeline のパイプラインを実行する
AWS CodePipeline（以下、CodePipeline）は GitHub と連携した場合、通常は Push 時にパイプラインが実行されますが、Push 以外のイベント時にパイプラインを実行したい場合もあります。例えば、特定のタグを付けたり、Pull Request 作成時やコメントをつけた場合などです。 Push 以外のイベントでパイプラインを実行したい場合は CodePipeline の Webhook を設定する方法がありますが、イベントのフィルタを書いたり動作検証するのが面倒です。 GitHubのpush以外のWebHookイベントからCodePipelineを発火させる - …
Amazon Elastic Inference（EI）について調べてみた
ずっと前に調べていたメモをブログ用に書き起こしてみました。 Amazon Elastic Inference（EI）とは 料金 制限 GPU インスタンスとの違い Amazon EI を使うためにやること セキュリティグループのルール追加 AWS PrivateLink エンドポイントを作成 IAM ロールのアタッチ EC2 インスタンスの起動 EI Predictor を使ってモデルを実行する 参考URL Amazon Elastic Inference（EI）とは Amazon Elastic Inference (Amazon EI) は、Amazon EC2 または Amazon Sa…
皆さま明けましておめでとうございます。本年もよろしくお願いいたします。 年が明けて3日経ってしまい明日から仕事初めではありますが、昨年の振り返りをしておこうと思います。 昨年の振り返り↓ 2019年振り返り & 2020年の目標 - 本日も乙 同人誌と商業誌の執筆 3月に「Amazon Web Services コスト最適化入門」の同人誌と「Spinnaker入門」の商業誌を出させていただきました。前著については9月に商業誌を出させていただきました。執筆中は苦しいことも多かったですが、本を出したことで様々な方との縁が生まれたので出せて本当に良かったと思います。 3月の技術書典では会社で部を立ち…
Amazon ECS のデプロイツールを調査した際に AWS Copilot をひと通り触ってみたのでそのメモです。 AWS Copilot とは Getting started コンセプト Application Environments Service Jobs Pipelines Manifest Advanced ドメインの設定 既存の VPC、サブネットをインポートする サービスの作成 デプロイ 本番環境の作成 パイプラインの作成 バックエンドサービスの作成 接続確認 データソースの追加 アドオン 単発の ECS タスクを実行 ECS タスクの定期実行 削除 長所 短所 まとめ 参考…
GCP HTTPS ロードバランサ用のセルフマネージド SSL 証明書の更新方法
本記事は Google Cloud Platform Advent Calendar 2020 の 12日目です。 GCP にはマネージドの SSL 証明書が HTTPS ロードバランサでサポートされています。 blog.jicoman.info マネージドであれば SSL 証明書の管理や更新を GCP でやってくれるので大変便利ですが、要件によってはセルフマネージド（自分で SSL 証明書を購入して更新する）が必要になる場合があります。例えば以下の場合です。 内部 HTTPS ロードバランサで SSL 証明書を使いたい場合 ワイルドカード SSL 証明書を使いたい場合 組織認証（OV）、拡張…
（注）ギークな読者ならもっと手の込んだ開発環境だと思いますが、本記事は「私にとっての」最高の Windows 開発環境なので悪しからず。 本記事は Sansan Advent Calendar 2020 の10日目です。業務で使っていた Mac が残電源容量を50%を切ると突然落ちるという謎現象に遭遇していました。12月に部署異動した*1ので、この機に Windows に変えることにしました。 前職も Mac を使っていたので、7・8年ぶりの Windows です。 Windows にした理由 キーマッピングの変更 WSL2 のインストール Windows Terminal の設定 Docke…
VPN 接続時に WSL2 の SSH がハングアップした場合の解決方法
2020/12/10 11:10 UTC+9 追記 本記事の問題は WSL2 固有であり WSL1 は問題ないとのことで、「WSL」だと混在してしまっているとの指摘をいただいたため、「WSL2」と明記するように記事タイトルおよび内容を修正しました。 本記事は WSL Advent Calendar 2020 の9日目です。 今月から部署異動した際に、心機一転で Mac から Windows に変えました。WSL2 が素晴らしくて開発や端末操作が格段にやりやすくなって感動しています。ただ、所々でハマりどころもあります。 事象 VPN に接続したときに WSL2 上の Ubuntu 20.04 L…
ECS GPU-optimized AMI で Docker ランタイムを変更する
本記事では、ECS GPU-optimized AMI をカスタマイズして Docker のランタイムを変更する方法について紹介しますが、そもそもなぜランタイムを変更しなければならないのかについて説明します。 ECS で GPU を扱うことによる問題点 Docker のランタイムを変更することで回避する 最新の ECS GPU-optimized AMI を探す Docker の設定変更 参考 URL ECS で GPU を扱うことによる問題点 ECS で GPU を使う場合はタスク定義で GPU 数を設定することができます。 aws.amazon.com 1つの GPU を複数の ECS タ…
AWS SDK for Goのテストの書き方（ec2metadata）
net/http/httptest とは サンプルコード 参考URL 以前にAWS SDK for Goを使ったテストの書き方を紹介しました。 blog.jicoman.info EC2 や S3 などのサービスは Interface が提供されているのでモックを使ったテストを書くことができます。しかし、EC2メタデータの取得などを行う ec2metadata は Interface がありません。正確に言うと request.Retryer Interface を満たしていますが、ec2iface.EC2API のような ec2metadata 自体の Interface がありません。 e…
go buildしたときに「unknown revision v0.0.0」でコケたときの回避方法
Golang で NVML（NVIDIA Management Library）を使いたかったので、NVIDIA/gpu-monitoring-tools のライブラリを使わせてもらおうと思ったら、躓いてしまったのでメモ。 環境 $ go version go version go1.15 darwin/amd64 サンプルコード NVIDIA/gpu-monitoring-tools リポジトリにあるサンプルコードを参考にしています。 package main import ( "fmt" "github.com/NVIDIA/gpu-monitoring-tools/bindings/go…
syslogに出力したBashコマンドをCloud Loggingに転送する
昨日 Ubuntu 20.04 LTS で Bash のコマンド履歴を syslog に出力する方法を紹介しました。 blog.jicoman.info 実際にログを確認するときに、一々サーバにログインするのが面倒ですよね。今回は要件で GCP（GCE インスタンス）だったので Cloud Logging（Stackdriver Logging）に syslog を転送するようにしたのでその方法を紹介します。 環境 GCP（GCE インスタンス） Ubuntu 20.04.1 LTS Bash 5.0.17 前回を参照にすでに Bash 履歴を syslog に出力できている前提ですすめます。…
Ubuntu 20.04 LTSでsyslogに出力するBashのdebパッケージを作成する
以前に、Amazon Linux 2 で Bash のコマンド履歴を syslog に出力する方法を紹介しました。今回は Ubuntu 20.04 LTS 版です。 blog.jicoman.info 環境 GCP（GCE インスタンス） Ubuntu 20.04.1 LTS Bash 5.0.17 ソースの取得と修正 必要なパッケージをあらかじめ入れておきます。 $ sudo apt-get install dpkg-dev build-essential $ apt-get source bash Reading package lists... Done E: You must put …
「Amazon Web Servicesコスト最適化入門」の商業誌版が刊行されました
技術書典8および9で頒布した「Amazon Web Servicesコスト最適化入門」（通称 AWS コスト本）がこの度インプレス R&D 様から商業誌として出版されることになりました。前著の「Spinnaker入門」に続いて2作目となります。 nextpublishing.jp AWS コスト本とは 本書の概要などについては下記の記事をご覧ください。 blog.jicoman.info 同人誌との違い 本書は技術書典9で頒布した同人誌を底本としていますが、商業誌では「16章 事例の紹介」を加筆しました。以前に実施したアンケートで知りたい内容の大半が「コスト最適化の事例」だったのに応え、Jul…
技術書典9で「Amazon Web Servicesコスト最適化入門 第2版」を頒布します（割引特典あり）
久しぶりのブログ更新です。最近は英語の勉強と「Amazon Web Services コスト最適化入門」（AWS コスト本）の加筆をずっとやっていました。 さて、9月12日から開催される技術書典9で「Amazon Web Services コスト最適化入門 第2版」を頒布します。 techbookfest.org ※まだ審査中のステータス BOOTH でも購入いただけます。URL は第1版と同じです。 ohsawa0515.booth.pm 第1版を購入し、以下の感想フォームに回答いただいた方にはクーポンコードが発行されるのですが、それを使えばなんと500円で購入できます！前作を購入いただいた…
S3のストレージクラスを一括で変更するとクラウド破産するかもという話
S3 のストレージコストを最適化する際に、S3 オブジェクトのストレージクラスを用途に合わせて変更するのがプラクティスのひとつとして提唱されています。ストレージクラスは「S3 Standard」「S3 Standard-IA」「S3 OneZone-IA」「S3 Glacier」「S3 Glacier Deep Archive」が提供されており、データアクセス頻度や可用性に応じて使い分けることでストレージコストを減らすことができます。下の表にストレージクラス別のストレージ料金をまとめました。S3 Glacier と S3 Glacier Deep Archive が特に安いですね。 ストレーシ…
PrometheusでWindows ServerのIISメトリクスを取得する
過去に技術検証で、Prometheus を試した際に、Windows Server の IIS メトリクスを取得する方法についてまとめました。 構成 GCP(GCE)上で構築 東京リージョン（asia-northeast1） Prometheus サーバ Ubuntu Server 18.04 LTS 監視対象サーバ Windows Server 2019 × 2 Prometheus のインストール Ubuntu Server で Prometheus を起動します。リリースページからバイナリファイルを落としてきます。 % wget https://github.com/prometheus…
「Number 922号 三浦知良、50歳 まだやるよ。」を読んで、ひとつのことを続ける大切さとプロ意識について教わった
休日なのでいつもの分野から離れてみようと思います。 美容院に行くと、スポーツ雑誌を毎回見ます。中でもインタビュー記事はスポーツ選手がそこに至るまでの思考プロセスが垣間見ることができるので好きです。といっても毎回帰ったら忘れてしまっているのですが。しかし、3年前に見た Number の三浦知良（カズ）さんの特集は読んで気持ちにグサっと来たので帰って速攻で Amazon で注文しました。 Number(ナンバー)922号 三浦知良、50歳 まだやるよ。 (Sports Graphic Number(スポーツ・グラフィック ナンバー))posted with AmaQuick at 2020.06.…
Ubuntu 20.04 LTSで「.local」への名前解決ができない場合の対応方法
Linux サーバで Active Directy ドメインに参加しようとしたらできなかったのでその時の対応メモです。なお、この事象は Ubuntu 16.04 LTS 以上であれば起こり得るのですが、私の場合 Ubuntu 20.04 LTS で発覚しました。 事象 realm join で Active Directory に加入しようとすると realm: No such realm found というエラーが出てしまいました。realm discover でドメインを探そうとしますが同じエラーになってしまいました。ドメインは example.local としています。 % realm …
セキュリティ、コンプライアンスの要件によってはデータの暗号化が必要な場合があります。データ転送やデータ保管時も暗号化の対象です。AWS は一部のサービスを除いてデータ保管時の暗号化はデフォルトで有効になっておらず、明示的に有効にする必要があります。 本記事では AWS の主要サービスにおけるデータ保管（ストレージ）の暗号化についてまとめてみました。 EC2 ここで EC2 のストレージとはインスタンスストア（エフェメラルストレージ）を指します。インスタンスストアとは EC2 自体が保有している一時ディスクで、揮発性であるため再起動するとデータを消失されます。C5d、G4、I3、I3en、F1、…
Amazon ESの基本的な使い方を学べるワークショップ「Amazon Elasticsearch Service Intro Workshop」をやってみた
Amazon Elasticsearch Service（以下、Amazon ES）をキャッチアップするために、先日「これから始める Amazon Elasticsearch Service セミナー」に参加してきました。そのなかでワークショップの宣伝がされたのですが、Amazon ES の基本的な使い方を手で動かして学べそうだったので実際にやってみました。ワークショップは Elasticsearch に詳しくない人でもわかりやすく解説されています。 aws.amazon.com ワークショップ概要 Lab 1: 環境のセットアップ Lab 2: Kibana での可視化と分析 Lab 3: …
ECS GPU-optimized AMIでECSを構築する
ECS で GPU インスタンスを使うときに、以前は自分で NVIDIA ドライバを入れたり、ECS エージェントを入れたりする必要がありましたが、最近（といっても昨年2月ですが）ECS GPU に最適化された AMI が出たことで ECS で GPU が使いやすくなりました。 aws.amazon.com ECS で GPU を使う機運が高まってきたので試そうと思ったのですが、参考記事が意外と少なく、ドキュメントも質素なので情報が多く出回っていないようでした。 Amazon ECS での GPU の使用 - Amazon Elastic Container Service そこで本記事は E…
GCEのMachine images（マシンイメージ）を使ってみた
今年の3月に GCE の Machine images（以下、（マシンイメージ）がベータ版でリリースされたとの発表がありました。個人的にはかなり待ち望んだ機能なのですが、意外と反応が薄い気がします。おそらく GCP を使う人は GKE や Cloud Run、GAE などコンテナメインなのであまり GCE のアップデートに響かないのかもしれません。 cloud.google.com 日本語記事 cloud.google.com 従来のイメージとは何がちがうのか ユースケース マシンイメージを試してみる GCE インスタンスの起動 マシンイメージの作成 マシンイメージから GCE インスタンスを…
GCEインスタンスとGKEノードのスコープをcloud-platformにすべき
休日なので軽めのネタを一つ。 GCE インスタンスや GKE ノードを作成するときに、デフォルトのサービスアカウント（Compute Engine default service account）を選択した場合にアクセススコープが3種類から選択できます。 デフォルトのアクセス権を許可 すべての Cloud API に完全アクセス権を許可 各 API にアクセス権を設定 何も指定しないと[デフォルトのアクセス権を許可]が選択されているのでこれでいいのかなと思ってしまうのですが、[すべての Cloud API に完全アクセス権を許可]を選択することをオススメします。 GCE インスタンスのアクセス…
BigQuery Transfer ServiceでAmazon RedshiftからBigQueryにデータ移行する
Amazon Redshift（以下、Redshift）にあるデータを BigQuery に移行して活用する案件があったので、調べたところ、BigQuery Data Transfer Service で Redshift からのデータ移行がベータ版ですがサポートされていました。 cloud.google.com 本記事では Redshift にあるサンプルデータを BigQuery に移行してみたのでその方法を紹介します。 移行方法の概要 AWS ネットワークの構築 セキュリティグループ サンプルデータの用意 Redshift クラスタの構築 IAM ロールの作成 サブネットグループの作成 …
Auroraクラスタを他のAWSアカウントに複製したい場合、リストアとクローンのどちらがいいのか
知っている人にとっては当たり前の話かと思いますが、知らない人にとっては知っておいた方が良い話です。 Amazon Aurora クラスタを別の AWS アカウントに複製したい場合に、リストアとクローンの両方が使えますがどちらが良いでしょうか。 結論からいうとクローンの方が良いです。理由は次の通り。 早く複製できる Aurora のクローンはコピーオンライトプロトコルを採用しています。コピーオンライトプロトコルは Aurora クラスタの複製を行う際にデータを複製せず同じデータを共有し、データの変更があった場合のみデータが複製されます。そのため、リストア（スナップショットを作成、復元）よりも高速…
【書評】AWSでクラウドネイティブな開発と運用をキャッチアップできる「クラウドネイティブファーストストーリー」
技術書典 応援祭で購入して積んでいた「クラウドネイティブファーストストーリー」を読んでとても良かったので本記事で紹介します。 booth.pm なぜ読んだのか 章立て 第１章 第２章 第３章 第４章 よかったところ プロダクションレディなアーキテクチャ 「何にコストがかかるのか」が詳しい 著者が苦労した点やハマったところを惜しみなく書かれている まとめ なぜ読んだのか Amazon ECS（以下、ECS）における設定方法や CI/CD について知りたかったからです。恥ずかしながら ECS や EKS などコンテナオーケストレーションについてのキャッチアップが全然できていなくて今のクラウドネイテ…
「これから始める Amazon Elasticsearch Service セミナー」に参加してきました
AWS公式のオンラインセミナー「これから始める Amazon Elasticsearch Service セミナー」に参加してきたのでそのレポート記事です。 参加動機 アジェンダ Introduction to Amazon Elasticsearch Service Elasticsearch とは Amazon ES の概要 Amazon Elasticsearch Service Best Practice アーキテクチャ サイジング 運用監視 Dive Deep into Amazon Elasticsearch Service UltraWarm Open Distro for El…
【書評】AWSコスト最適化の知識・運用を学べる「Mastering AWS Cost Optimization」
技術書典 応援祭で Amazon Web Servicesコスト最適化入門という技術同人誌を出しました。出した後に AWS コストについて扱った本がないかを調べたところ、「Mastering AWS Cost Optimization」という本がとても良かったので紹介します。 Mastering AWS Cost Optimization: Real-world technical and operational cost-saving best practices posted with AmaQuick at 2020.05.25 Mansoor, Eli(著), Green, Yair(…
機械学習初心者の私がML Study Jams Vol.4に参加してきました
一通りコースを終えたので終了報告ということで、感想と受けてよかったハンズオンを紹介します。 ML Study Jams とは Slack 参加動機 私のスキルレベル 受講したハンズオン Qwiklabs を受けたときにハマったこと、やっておいてほうがいいこと 受講してよかったハンズオン Dialogflow で AI チャットボットを実装する BigQuery ML 予測モデルによるタクシー運賃の予測 Awwvision: Kubernetes クラスタからの Cloud Vision API AutoML Vision でクラウド内の雲の画像を分類する 機械学習は学べたのか？ まとめ ML …
Cloud Asset APIでGCPプロジェクト、フォルダ、組織内のIAMリソースを検索する
組織配下の GCP プロジェクトが増えるにつれて管理が煩雑になってきます。私の場合、異動・退職者の IAM ユーザ削除に頭を悩ませていました。私が管理しているフォルダ配下の GCP プロジェクトでは Google グループで IAM を管理していてとても楽なのですが、他部署横断型の GCP プロジェクトや開発のお手伝いといった形で他部署の GCP プロジェクトに IAM ユーザが登録されているケースもしばしばあります。 退職者が出た場合に、すべてのアカウントを削除するようにしているのですが、特定の IAM ユーザを探すのはとても至難です。GCP プロジェクトを一つずつ探していかないといけないで…
指定した記事をブログ村の中で非表示にしたり、削除したりできます。非表示の場合は、再度表示に戻せます。
画像が取得されていないときは、ブログ側にOGP(メタタグ)の設置が必要になる場合があります。
テーマは同じ趣味や興味を持つブロガーが共通のテーマに集まることで繋がりができるメンバー参加型のコミュニティーです。
テーマ一覧から参加したいテーマを選び、記事を投稿していただくことでテーマに参加できます。
