【MongoDB】MongoTimeoutError: Server selection timed out となるエラー
事象 node.jsアプリケーションにてMongoDBに接続に行く処理にて以下のようなタイムアウトエラーになる、 MongoTimeoutError: Server selection timed out after 10000 ms ... name: 'MongoTimeoutError' 環境情報 NodeJS Version: 12.16.1 - x64 MongoDB Version: 4.2.6 原因/解決策 接続に10000ms(10s)以上かかっている可能性がある。 よってMongoDB用の環境変数であるMONGO_OPTIONSにて以下のようタイムアウト値を変更する。 MON…
はじめに RocketChatでは管理者権限を持つユーザは設定画面からアプリ全体の設定を編集できます。 そんなadmin権限を持つユーザのログインパスワードが分からなくなった際にMongoDBからadmin権限を持つユーザを削除&再度admin権限を持つユーザを作成する手順を紹介します。パスワードを忘れた場合も事前に登録したメールアドレスにてパスワード再設定ができたり、パスワードリセットがAPI経由で行える模様なので本手順はクリーンなものではないですが参考にしてみてください。 環境情報 Rocket.Chat Version: 3.2.2 MongoDB Version: 4.2.6 Mong…
はじめに Rocketchat（ロケットチャット）ではSlack同様に絵文字スタンプがあり、画像ファイルが手元にあればカスタム絵文字として登録可能です。 本記事では実際にカスタム絵文字を使う流れについて紹介します。 環境情報 Rocket.Chat Version: 3.2.2 カスタム絵文字の管理 ROOT_URLをlocalhostにしている場合は以下から同設定が可能です。 http://localhost:3000/admin/emoji-customプラスマークをクリックすれば以下のようにGUI上で画像を選択します。カスタム絵文字の追加今回は「ダウト」という画像を以下のように追加しまし…
MongoDBで定期的に打ちたくなるコマンドをメモしておきます。 DB一覧 コレクション一覧 ドキュメント全件取得 コレクション一覧とドキュメント数を表示 ドキュメントの表示件数の制限を変更 レプリカセットの状態 DB一覧 show dbs コレクション一覧 show collections事前にuse db_nameが必要。 ドキュメント全件取得 db.<collection_name>.find()事前にuse db_nameが必要。 コレクション一覧とドキュメント数を表示 db.getCollectionNames().forEach(function(v){print(v , db.g…
はじめに 以下記事ではメッセージの保管場所について紹介しましたが 本記事ではブラウザ上にて以下のように「管理」から設定できる項目がデータベースのどこに保管されるかについて調査した際のメモです。管理にて設定を編集できる結論から言えば「rocketchat」データベースの「rocketchat_settings」コレクションです。 環境情報 Rocket.Chat Version: 3.2.2 MongoDBのコレクション一覧 初回ログオン直後のMongoDBのコレクションとドキュメント数の一覧は以下でした。 rs0:PRIMARY> db.getCollectionNames().forEach…
【チャットツール】dockerコマンドでRocketchatを利用する
はじめに 以下記事で紹介したチャットツールですが 今回はdockerコマンドでRocketchatを利用する手順について紹介します。端末はWindows 10でDocker Desktopを利用してコンテナ実行環境を用意しています。 利用イメージ情報 $ docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE rocketchat/rocket.chat latest decacd254a01 3 days ago 1.68GB mongo latest 3f3daf863757 2 weeks ago 388MB MongoDBコンテナを起動…
【Docker&MongoDB】getaddrinfo ENOTFOUND GetAddrInfoReqWrap.onlookuにて接続エラー
事象 Roket.chatコンテナをMongoDBコンテナに接続しようとするも以下メッセージでエラーになる。 /app/bundle/programs/server/node_modules/fibers/future.js:313 throw(ex); ^ Error: getaddrinfo ENOTFOUND mongo at GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:64:26) { name: 'MongoNetworkError', errorLabels: [ 'TransientTransactionError' ]…
【Docker】コンテナイメージをアイランド環境に持ち込み起動する
はじめに インターネットに接続していない環境、いわゆるアイランド環境にてコンテナイメージを展開する方法を説明します。流れとしてはインターネットに接続している環境にてイメージをpullし、そのイメージをtarに固めて持ち込んで利用します。 環境情報 Debian 9 (コンテナイメージをpullする環境） Windows 10（アイランド環境を想定した環境） コンテナイメージを取得する（Debian側） redisのイメージをアイランド環境に持ち込むとします。例えばdocker-compose用のファイルに以下のように記載されていれば redis: image: redis:5.0.7初期起動時…
はじめに MongoDBにて以下記事で作成したデータベース名「test」コレクション名「user」のデータをバックアップし、データを削除した後にリストアして復旧する手順を紹介します。 環境情報 Debian GNU/Linux 9 MongoDB shell version: 3.2.11 事前確認 バックアップを行うためにはmongodbプロセスが動いている必要があります。 # ps aux grep mongo mongodb .. /usr/bin/mongod --unixSocketPrefix=/run/mongodb --config /etc/mongodb.confデータ…
はじめに NoSQLの筆頭として以下記事でも軽く触れたMongoDBですが タイトルの通りコマンドから直接DBを操作することも可能なのでテキストに追記する感覚でDBに格納&検索ができます。本記事ではデータをコマンドから操作する方法を前提知識を補足しながら記載しています。 コマンド実行環境 Debian GNU/Linux 9 MongoDB shell version: 3.2.11 MongoDBのインストール apt-getにてインストール可能です。 # apt-cache show mongodb Package: mongodb ... Description-en: object/d…
【Kubernetes】永続化ボリュームPersistentVolumeClaimを利用する
はじめに コンテナは基本的にステートレスで削除してしまえば再度作成しても中で作成したファイルは消えています。が、Dockerでは例えば以下のように一部ファイルを外出しすることで永続的に利用できます。 Kubernetesにも永続ストレージという概念にてPersistentVolumeClaimという設定にてデータを維持することが可能になります。 本記事ではその使い方をハンズオン形式で紹介します。 環境情報 DocerDesktop Windows10 kubectl 1.15 使用するYAML Pod&Service&Volumeで3つのファイルです。 $ cat nginx-pod.yaml…
【Kubernetes】NodePortとLoadBalancerの違い
はじめに 以下記事にてKubernetesのサービスで利用するClusterIPとNodePortの違いについて説明しました。 その違いは K8sクラスタに所属していないマシンからポッド内に通信できるか否か です。一方で上記の特徴を持つNodePortと同じくLoadBalancerでも同様のことが可能です。本記事ではNodePortとLoadBalancerの違いを説明します。 LoadBalancerとは？ kubectl get serviceでそれぞれを見れば分かりやすいです。 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE hoge-clus…
【Kubernetes】nginxのPodへのcurlがEmpty reply from serverとなる事象
事象 Kubernetesにて立ち上げ済のnignxのPod&サービスを利用してcurlコマンドで接続を行うも以下エラーになる。 $ curl localhost curl: (52) Empty reply from server接続ポート（80）に誤りはなく > kubectl get service NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ... nginx LoadBalancer 10.101.233.150 localhost 80:31029/TCP ..別ポートに接続すると別のエラーになるためServiceは問題なく立ち上がって…
やりたいこと 以下の文字列をbashを利用して ABC(DEF)G(H)以下としたい。 ABCG 環境情報 $ bash --version GNU bash, バージョン 4.4.12(3)-release (x86_64-unknown-cygwin) やり方 Linux系OSにて以下コマンドを実行すれば指定した括弧で囲まれた文字列が省いた文字列が表示されます。 $ echo "ABC(DEF)G(H)" sed 's/([^)]*)//g' ABCGただし二重括弧には対応していません。 $ echo "ABC(D(E)F)G(H)" sed 's/([^)]*)//g' ABCF…
【Windows】カーソルは動くが画面が固まって動かない事象
事象 ブラウザ操作中に画面が固まる。以下、具体的な状況です。 カーソルは動くが画面のアイコンに載せても反応しない キーボードのコマンドが通らない（Windowsキー+Rキー等） 画面が更新されない（右下の時刻が変わらない） ファンクションキーによるボリューム調整は可能（画面にも出てくる） 画面を閉じてスリープ&スリープ解除でも事象解消はしない 環境情報 Windows 10 事象が起きた時の試行錯誤 結論から言いますが、再起動しました。再起動後は問題なく利用できました。 その前に試行錯誤した中で有効に効いたのは「外部ディスプレイの接続」です。外部ディスプレイを接続してもメイン画面が固まったまま…
【Heapster】Error in scraping containers from kubelet failed to get all container stats from...というエラー
事象 Podのリソース（CPU/Memory）を確認すべくHeapsterをデプロイするも以下エラーで正常に利用ができない。 > kubectl logs -n kube-system heapster-d75f6848c-xbtf7 ... E0505 XX 1 manager.go:101] Error in scraping containers from kubelet:192.168.65.3:10255: failed to get all container stats from Kubelet URL "http://192.168.65.3:10255/stats/conta…
【Kubernetes】Heapsterでkubectl top pods/nodeを利用する
はじめに Kubernetesではポッドの状況を確認するためのHeapsterやmetrics-serverが導入されていない場合にkubectl topコマンドが利用できません。 本記事ではDocker Desktop環境にてHeapsterを導入し、kubectl top podsを利用できるようにするまでの流れについて記載します。 環境情報 Windows 10 Enterprise Docker Desktop 2.2.0 Heapster version v1.5.4 topコマンドが効かない状況では以下のようにエラーが返ってきました。 > kubectl top pods W050…
はじめに カナリアリリース/カナリーリリース（Canary Release）とはサービスを一部ユーザーのみが利用できるようにリリースし、問題がないことを確認しながら段階的に全体に向けて展開していくデプロイ手法を指します。本記事では2種類のnginxのバージョンをカナリーデプロイメントにて共存させる流れをハンズオン形式で実践します。 事前準備 以下デプロイメントとサービスのyamlファイルがあるとします。 $ cat nginx-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: nginx-deploymen…
★宇宙兄弟★ 本記事では、漫画「宇宙兄弟 37巻」の感想や印象をツラツラと書いています。 前巻 ネタバレを含んでいるので閲覧はご注意ください。オールカラー版1巻付き 宇宙兄弟（37）特装版posted with ヨメレバ小山 宙哉 講談社 2020年02月21日 楽天ブックスAmazonKindle 以下、前巻末尾に記載があったあらすじです。 ムッタとフィリップが待ちわびた帰還船・ソユーズが、ついに月上空まで到達した。 だが、繋がった希望を打ち砕くかのように、着陸船・ルナランダーに予想外のトラブルが発生する。 果たしてムッタは、「必ず帰る」というシャロンとの約束を果たすことができるのか。 そし…
【Kubernetes】Recreateを指定するデプロイ方法
やりたいこと Kubernetesにおいて以下のようなロールアウト機能を用いたデプロイではなく 全てのポッドを一気に変更したい。 環境情報 Windows 10 Enterprise Docker Desktop 2.2.0 やり方 deploymentのyamlファイルに以下の文言を追記する。 strategy: type: Recreate 以下、解説です。 解説 冒頭の参考記事にあるように指定をせずにkubectl apply -f deployment.yamlを行うとローリングアップデート（RollingUpdate）と呼ばれる順々に新しいポッドが増えていきます。一方で旧Podを全て…
はじめに とある画像をWebサービスに登録しようとした際に Incorrect image aspect ratio. Select a square image and try again. としてエラーとなりました。 要は縦と横のサイズが異なっているので調整してください、とのこと。このように正方形にトリミングする手法は多々ありますが、今回はWindowsパソコンに標準で搭載されているペイントを利用して縦と横のサイズを正確に合わせる方法について説明します。 環境情報 Windows 10 Enterprise ペイント Version 1909 縦と横の比率を揃える手順 以下の3ステップです…
やりたいこと 以下の文字列を ABC(DEF)G(H)以下としたい。 ABCG 環境情報 $ java --version openjdk 11.0.6 2020-01-14 やり方 以下を実行すればinputtestという変数に指定した括弧で囲まれた文字列が省いた文字列が格納されています。 String inputtest = "ABC(DEF)G(H)"; int s = inputtest.indexOf("("); int e = inputtest.indexOf(")")+1; while(s>=0 && e >0) { String outputtest = inputtest.…
【Youtube】"お使いのアカウントではこの設定は変更できません"と出てチャンネル名変更ができない時の対応法
事象 ユーチューブのブランドアカウントに設定しているチャンネル名をYoutubeアプリに表示されるアイコンを押下して変更しようとするも お使いのアカウントではこの設定は変更できません と出て文字入力ができない。 執筆時期 2020年 対応方法 チャンネル名を変更したいアカウントでログインし以下リンクの「アカウント」設定から変更する。 本URLも記載しておきます。 https://www.youtube.com/account以下、補足です。 補足 Googleの名前は短時間で何度も変更するとロックがかかり一定期間変更ができなくなりますが、そうではない場合に名前を変更しようとするとタイトルのメッ…
はじめに GoogleCloudPlatformの外部IPアドレスと内部IPアドレスの紐づけについて調べていた際に便利だったコマンドを紹介します。 ちなみに結論としてはネットワークインターフェースで1:1のNATをしている模様です。 環境情報 $ gcloud --version Google Cloud SDK 289.0.0 VMインスタンスの一覧を確認する 以下のコマンドで作成済のVMインスタンスの一覧が確認できます。 起動中のVMにはExternalIPということで外部IPアドレスが割り振られていて $ gcloud compute instances list NAME ZONE M…
はじめに Kubernete（以降K8s）では「クラスター」「名前空間（ネームスペース）」が似たような意味で利用されるのでこんがらがります。本記事ではそれらの違いを適宜コマンドを押下しながら分かりやすく説明しました。 コマンド実行環境 Windows 10 Enterprise Docker Desktop 2.2.0 Clusterとは？ K8sクラスターとはコンテナ群の一単位で、我々はアプリケーションの展開先に具体的なサーバを指定するのではなくクラスターを指定することでデプロイします。K8sではマスターノードがクラスターを管理するので、マスターノード（apiserver）がクラスターと同義…
【ApplePencil紛失対策】Bluetoothデバイスを探すアプリ紹介
はじめに アップル製品はiCloudにてデバイスを探す機能（iPhoneを探す）がありますが、アップルペンシルは非対応です。 よって紛失時に困ってしまいがちですが、タイトルの通りでApplePencilを無くした時に探せるアプリを発見したので紹介します。 動作確認バージョン iPad Pro (11インチ） : 13.4 Apple Pencil（第二世代） Wunderfind : 1.7.3 Wunderfindをインストールする App Storeにて「Wunderfind」と入力すると以下のようなキャッチコピーのアプリが見つかります。 Wunderfind : 紛失したデバイスを見つけ…
【TwilioAPI】機械音声メッセージをcurlコマンドにて送る
はじめに TwilioとはSMSやプッシュ通知、電話確認を自動的に行うAPIを提供しているサービスでトライアルアカウントであれば無料でテストすることが可能です。 本記事ではTwilioAPIをcurlコマンドで叩いて手持ちのスマートフォンに電話をかけて音声メッセージを送るまでの手順を記載しました。 環境情報 curl 7.52.1 (x86_64-pc-linux-gnu) Twilio api_version : 2010-04-01 アカウント登録&電話番号取得・登録 以下記事を参照ください。 curlコマンドで電話をかける 以下が公式ドキュメントに記載のあるサンプルコードです。 $ EX…
【TwilioAPI】Twilio could not find a Channel with the specified From addressというエラー
事象 以下記事のようにTwilioを利用しようとするも 以下メッセージにてエラーが返ってくる。 {"code": 63007, "message": "Twilio could not find a Channel with the specified From address", "more_info": "https://www.twilio.com/docs/errors/63007", "status": 400} 環境情報 Twilio "api_version": "2010-04-01" 原因 公式のオンラインドキュメントにて以下のように記載がある。 Error: Twilio …
【TwilioAPI】SMSメッセージをcurlコマンドにて送る
はじめに TwilioとはSMSやプッシュ通知、電話確認を自動的に行うAPIを提供しているサービスでトライアルアカウントであれば無料でテストすることが可能です。 本記事ではTwilioAPIをcurlコマンドで叩いて手持ちのスマートフォンにSMSメッセージを送るまでの手順を記載しました。 環境情報&時期 curl 7.52.1 (x86_64-pc-linux-gnu) 2020年執筆 アカウント登録 まずは冒頭に貼ったサイトにてアカウントを有効化させます。 メールアドレス認証が必要で、以下のような文面のメールが届きました。。 アカウントを有効化するには、メールアドレスを認証してください。メー…
はじめに データセンターの中にあるサーバをIPv4の体系にて一般向けに公開しようとすると 外部に公開するアドレス確保 DNS登録追加 サーバ証明書発行 が必要になります。本記事ではそれらについて簡単に説明します。 グローバルIPアドレス&ドメイン名を採番する ドメイン名を指定すれば該当サーバに繋がる必要があるのでドメイン名とそれに紐づくグローバルIPアドレスを用意する必要があります。こちらの紐づけが完了すれば以下記事のように nslookupコマンドを打てば名前解決または逆引きができます。そしてこのグローバルアドレスに対して通信があった場合にDMZ内に置いてあるWebサーバの前段の機器に通信を…
【Kubernetes入門】kubectl config viewで参照しているファイル
はじめに 以下記事でDockerDesktopをインストールした環境にて Kubernetesクラスタの設定を確認するkubectl config viewについて使い方を簡単に説明します。 環境情報 Windows 10 Enterprise Docker Desktop 2.2.0 Kubernetesのマスターノード 例えばDockerDesktopでは以下のようにクラスター情報の動作状況が確認でき > kubectl cluster-info Kubernetes master is running at https://kubernetes.docker.internal:6443 …
「ブログリーダー」を活用して、社外SEくんさんをフォローしませんか？
はじめに Keycloak（RedHat Build of Keycloak）ではkc.sh（kc.bat）でレルムの情報をエクスポート及びインポートが行えます。 本記事ではレルムをエクスポートした情報を取り込み直すことで、ユーザ情報がパスワード含めて移行できることを確認しました。 はじめに 環境情報 事前準備 レルム情報の出力 レルム情報の取り込み 終わりに 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.12 事前準備 管理コンソールから「test」というレルムを新規作成し、同レルムにtestuserというユーザの作成を行います。testuserには…
事象 Amazon Linuxにてyum updateを行うと以下のように403のエラーとなる。 # yum update Amazon Linux 2023 repository 1.2 kB/s 275 B 00:00 Errors during downloading metadata for repository 'amazonlinux': - Status code: 403 for https://al2023-repos-ap-northeast-1-de612dc2.s3.dualstack.ap-northeast-1.amazonaws.com/core/mirror…
やりたいこと AWSのCloudWatchLogsのロググループを指定し、S3にログ情報を退避する。 環境情報 aws-cli/2.15.5 やり方 以下のようにロググループとS3のバケットを指定し、ログの範囲をUNIX時間で与える。 $ aws logs create-export-task --task-name "test" --log-group-name "/aws/test/" --from 1746834146000 --to 1747698146000 --destination "s3-test" --destination-prefix "hoge"すると標準出力にエクスポ…
やりたいこと Keycloak（RedHat Build of Keycloak）で新しいバージョン起動時に行われるデータベースへの変更を事前に確認する。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.11 やり方 kc.shにてデータベース移行に使用するオプションであるspi-connections-jpa-quarkus-migration-strategyを利用し、データベースの手動移行を意味するmanualを付与して実行する。 $ ./bin/kc.sh start --spi-connections-jpa-quarkus-migration…
やりたいこと 正常停止を含めたサービスの停止時にスナップショットを出力する。 環境情報 P-9W43-9Q11 : uCAR with Java for Spring Boot Red Hat Enterprise Linux 9.5 (Plow) やり方 設定ファイルである~/ucars/conf/config.propertiesに以下を追加する。 snapshot.log.filepath=/tmp/snapshot snapshot.onshutdownrequest.collect.condition=ALWAYS同設定を追加後、SIGTERMによってサービスを停止させるとzipファ…
やりたいこと Fluent Bitの設定ファイル（fluetnt.conf）に環境変数を指定し、環境変数経由で値を指定する。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 やり方 環境変数MYSERVICEを利用したい場合、以下のようにconfファイルに記載を行う。 [OUTPUT] ... log_group_template /test/${MYSERVICE} ...以下、補足です。 補足 環境変数として以下のように値を定義しておくと export MYSERVICE=hogeFluentBitの起動ログを見ると、環境変数に…
やりたいこと CloudFrontのオリジンとしてS3のホスティングを利用している際、S3のファイル格納後にエッジキャッシュをクリアしたい。 環境情報 aws-cli/2.15.5 やり方 CloudFrontにて該当のDistribution IDを特定し、以下のコマンドを実行する。 $ aws cloudfront create-invalidation --distribution-id xx --paths "/*"その結果として標準出力に以下のような結果が表示される。 { "Location": "https://cloudfront.amazonaws.com/2020-05-31…
はじめに EC2からS3を利用しようとaws s3 lsを打つも、反応がなかった際の調査ログを記載します。尚、EC2はプライベートサブネットに存在し、インターネットへの経路はなくS3のVPCエンドポイントは作成済みとします。 環境情報 aws-cli/2.15.5 調査の流れ 同事象が起きた場合、一番怪しいのはS3のVPCエンドポイントがEC2のルートテーブルに紐づいていない状態となっています。リージョンを指定してS3のエンドポイントを指定して出力すると $ aws ec2 describe-vpc-endpoints --filters "Name=service-name,Values=c…
やりたいこと Linuxサーバの負荷状況を見るため、性能試験としてCPU等のリソースを取得してグラフを作成する。 環境情報 Red Hat Enterprise Linux 9.3 sysstat version 12.5.4 やり方 以下のように間隔（秒）と回数、出力先を指定すると # /usr/bin/sar -A -o /tmp/sar 5 1000パフォーマンスファイルが作成される。 # file /tmp/sar /tmp/sar: data可視化をするためにsadfにて画像ファイルを出力させたものをブラウザで表示すると # sadf -T -g -- -A /tmp/sar > t…
はじめに ECSのタスク定義に修正を加える場合、AWSの管理コンソールにて”新しいリビジョンの作成（Create new revision/Create new revision with JSON）から行います。一方でコンテナイメージのタグのみを変更する等、軽微かつ機械的な置換で行えるものはCUIから操作したい場合もあると思います。というわけで、今回は自動化を想定してAWSCLIにてタスク定義に微修正を加え、新たなバージョンで作成する流れを検証しました。 はじめに 環境情報 更新する前のタスク定義を取得する タスク定義に修正内容を反映させる 新たなリビジョンのタスク定義を作成する 終わりに …
はじめに ECSで稼働するコンテナは、awslogsというログドライバーを有効化することで標準出力がCloud Watch Logsに連携されます。 簡易的な使い方であればこれでいいものの、より細かい用件でログルーティングを行う場合は不十分であり、代わりにFirelensコンテナを利用した構成を取る必要があります。本記事ではコンテナ内のディレクトリを指定し、そのディレクトリ配下のログをファイル毎にログストリームを分けて出力する方法について解説します。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 実装の流れ FirelensとはO…
はじめに ECSのサービスにてTaskを1つだけ稼働させ、そのTaskを異常終了させた際にどの程度の時間でECSが別のTaskを復旧させるのかを実機を用いて検証を行いました。尚、構成としてはALBを経由してECSのサービス（Apacheをコンテナとして起動）に割り振りを行う構成で、ALB経由で通信を断続的に行うことで業務通信を想定して応答結果を整理しています。構成概要 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 障害の再現と計測対象 ECSのタスクの中に入り、EntryPointで指定したコマンドをkillします。 $ aws ecs execute-command…
はじめに Keycloak（RedHat Build of Keycloak）はJavaアプリケーションとして動作するため、メモリ不足で落ちる際の挙動はJava実行の引数で渡すことができます。本記事では実際にメモリ不足（Out Of Memory）を起こし、その際にヒープダンプを出力する挙動の確認を行いました。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-24.0.5 内容確認 Keycloakを起動するkc.shでは以下の箇所でメモリー関連の値を設定しています。 if [ -z "$JAVA_OPTS_KC_HEAP" ]; then JAVA_OPTS_K…
はじめに RAG構成のAmazon Bedrockを利用している際に不審なアクセスがないかどうかを確認したいケースがあります。そのような際にAWSのCloudTrialが利用できるため、実際にログの確認を行いました。 執筆時期 2025/02 CloudTrialの設定 まず初めに、CloudTrial側でBedrock関連の操作を拾えるようにします。 そもそもCloudTrialでは「Management events」と「Data Events」があり、後者は明示的に有効化をしないと出力されません。BedrockのログはData Eventsに相当します。手順としては、AWS管理コンソール…
はじめに ECSのサービスがApplication Load Balancerの後段にある場合、ECSがコンテナを停止（SIGTERMの送信）する前に、ターゲット グループからタスクを解除する挙動をします。具体的には以下のフローとのこと。Graceful shutdowns with ECS より抜粋本記事では、この挙動をタスクの再起動時に以下を計測することで確認しました。 ターゲットグループに登録されているターゲットと状態 ECSタスクで起動しているタスク数 ECSタスクのログ 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 以下の構成を準備し、Task数は…
やりたいこと Apacheが受けた通信は別サーバにプロキシを行うが、特定のパスの通信に関してはプロキシをせずに自サーバのリソースで応答したい。例として/healthというリクエストに関しては/var/www/html/health.htmlを表示させる。特定のパスはAapche内のリソースで応答したい 環境情報 Apache/2.4.37 (Red Hat Enterprise Linux) やり方 /var/www/html/health/health.htmlを準備した上で、以下のhttpd-proxy.confを/etc/httpd/conf.d/に配置をし、サービスを起動する。 Pro…
はじめに ECSではタスク定義を指定した上で「Run Task」を行うことでコンテナをバッチのようにして起動ができます。また、起動したコンテナの実行結果は、ステータスとして完了したかだけではなくシェル終了時の終了コード（Exit Code）としても取得が可能です。本記事では実際にタスクとしてスクリプトを異常終了させ、その終了コードをコマンドから取得する流れを記載しました。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 下記のように終了コードを5で返すスクリプトを作成した上で #!/bin/bash sleep 10 exit 5コンテナイメージを作成します。…
やりたいこと Dockerfileの修正によってコンテナのログを標準出力に出すことでdocker logsで拾えるようにしたい。 例としてAapacheのコンテナを扱う。 環境情報 Amazon Linux 2 Docker 20.10.23 やり方 Dockerfileの中で以下のようにログと標準出力をリンクさせる。 RUN ln -sf /dev/stdout /var/log/httpd/access_log例えば以下のようなDockerfileでイメージをビルドしてコンテナを起動すると FROM registry.access.redhat.com/ubi8/ubi RUN yum -…
やりたいこと awscliを利用してメールを送付する。 環境情報 $ aws --version aws-cli/2.15.23 Python/3.11.6 ... やり方 トピックを作成し、そのトピックに紐づくサブスクリプションを宛先メールアドレスと共に設定。作成したトピックのARNを引数に以下のように指定をしてコマンドを押下すると $ aws sns publish --topic-arn "arn:aws:sns:ap-northeast-1:xx:xx" --message "Test"メッセージが送付される。 { "MessageId": "xx" }届いた電子メールは以下。 Fro…
やりたいこと awscliを利用し、特定のIPアドレスからの通信を拒否する。尚、通信はサブネットをまたぐ通信とする。 環境情報 $ python3 --version Python 3.8.16 やり方 サブネットに紐づくNetwork ACLのIDを利用し、以下のように設定を行う。（インバウンドであれば--ingress） $ aws ec2 replace-network-acl-entry --egress --network-acl-id xx --rule-number 10 --protocol -1 --rule-action deny --cidr-block 10.xx.xx…
はじめに テキストで与えた入力情報を元に、AWSの生成AIであるBedrockに画面遷移図を作成させる検証を行いました。尚、できるだけ自動化を行うために画像出力部分はマーメイド記法のテキストを元に画像化するmmdcコマンドを利用しています。尚、全体の流れは プロンプトを記載した入力ファイルの準備 入力ファイルを元にBedrockへ質問/回答取得 回答結果を元に画像を出力 となります。 環境情報 Amazon Linux 2 mmdc 10.6 Python 3.7.16 Claude-v2 入力情報の準備 テキストファイルにて以下のような文章を用意しました。図に使う文字を英語にしている理由は、…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザを作成した際にその応答結果から新規作成されたユーザのユーザーID（id）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 curl 7.76.1 (x86_64-redhat-linux-gnu) やり方 ユーザー作成時のcurlにて-Dオプションを利用してファイルに出力をさせると $ curl -D location.txt --request POST 'http://localhost:80…
はじめに Keycloak（RedHat Build of Keycloak）は開発モードで起動を行うと、特に設定をせずともH2という同梱されているデータベース上に情報が補完されます。本記事ではそれらのデータを新しいバージョンに持っていくために実際にデータをコピーし、起動させた際の備忘録を残しておきます。 環境情報 Red Hat Enterprise Linux VERSION="9.3 rhbk-22.0.8 rhbk-24.0.5 事前準備 新バージョンのZipを配置し、解凍します。 # ls rhbk-24.0.5 bin conf lib LICENSE.txt providers …
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリソースタイプと紐づくリソースベースドパーミッションを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと curl -X POST http://localhost:8080/admin/realms/master/clients/<client-id>/authz/resourc…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及びAggregate Policyに組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと $ curl -X POST 'http://localhost:8080/admin/realms/master/clients/<client-id>/aut…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyに関する情報を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び該当のAggregate PolicyのIDを控えた上で以下のようにGETを行うと $ curl --location --request GET 'http://localhost:8080/admin/realms/master/clients/<cl…
はじめに Red Hat build of Keycloak（Keycloakの商用版）ではユーザにグループという属性があります。 属性とは違ってサブグループ/親グループという階層構造となっているのが特徴で、ユーザへのロールマッピングにて利用されます。そんなグループですが、本記事はAdminAPIを利用して既存のグループに関して参照/変更を行う方法とその結果を記載します。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 はじめに 環境情報 参照系 グループの一覧 ユーザのグループ表示 追加系 削除系 終わりに 参照系 グループの一覧…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でクライアントリソース（client resource）を作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及びリソースを作成したいクライアントのIDを用意した上で以下のようにPOSTを行う。 $ curl --location --request POST 'http://localhost:8080/admin/realms/master/clients/XX/authz/res…
はじめに 既にNode.jsのVer16が入っているRHEL環境にて、Node.jsをVer18にあげました。せっかくなので、その際の手順と出力結果をメモしておきます。 # npm -v 8.19.4 # node -v v16.20.2 環境情報 Red Hat Enterprise Linux 9.3 背景 特に何も考えずにyumコマンドでnpmをインストールすると # yum install npm ... ... Installed: nodejs-1:16.20.2-4.el9_3.x86_64 nodejs-docs-1:16.20.2-4.el9_3.noarch nodejs-…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にて任意のユーザのアカウントロック（アカウントの無効化）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 ユーザのIDをURIに付与した状態でenabledをtrueからfalseに変更する。 $ curl --location --request PUT 'http://localhost:8080/admin/realms/master/users/'"$id"'' --header 'Content-Type: ap…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてユーザ名をキーにグループ名を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 以下のようにユーザ情報を出力した上で ./kc.sh export --dir Test --users different_filesユーザ情報が格納されたmasterファイルからユーザ名（test01）を条件にグループ情報を出力する。 $ cat master-users-0.json jq -r '.users[] select(…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリスト表示するユーザを絞る。 具体的には属性hogeの値がfugaのユーザのみの出力を行う。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin …
やりたいこと PowerShellからKeycloak（RedHat Build of Keycloak）のアクセストークンを発行する。尚、adminユーザを利用したパスワード方式での実行を想定する。 環境情報 rhbk-22.0.8 PowerShell 7.3.11 やり方 ボディデータをハッシュテーブルで定義した上でInvoke-RestMethodでPOSTリクエスト送信する。具体的てには以下スクリプトを実行することで取得が行えた。 $client_id = "admin-cli" $client_secret = "admin" $token_endpoint = "http://x…
やりたいこと Linux機でPowerShellのスクリプトファイル（.ps1）を実行する。 環境情報 Amazon Linux 2 PowerShell 7.3.11 やり方 マイクロソフトのリポジトリ情報を追加した上で $ curl https://packages.microsoft.com/config/rhel/7/prod.repo sudo tee /etc/yum.repos.d/microsoft.repoインストールを行うと $ yum -y install powershell以下にPowerShell用のコマンドが配置される。 $ which pwsh /usr/b…
はじめに Keycloak（RedHat Build of Keycloak）ではログインに成功すると内部的にはセッションが生成され、サーバ側で認証されたユーザを管理しています。また、その情報に相対する情報がブラウザ側にもクッキーとして保管されます。本記事ではサーバ側及びブラウザ側それぞれで、ログイン前/ログイン後に発行されるセッションに関する値を確認してみました。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 GoogleChrome 122.0.6261.69 ログイン前の状態 今回はテスト用ユーザにて管理用コンソールへのログ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でログイン済みのユーザセッション数の合計を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: app…
事象 InstanceProfileとしてIAMロールを設定していたEC2に対して「Modify IAM role」を実行すると Failed to replace instance profile The association iip-assoc-xx is not the active association というエラーとなる。 環境情報 $ aws --version aws-cli/2.15.5 Python/3.11.6 Linux/4.14.336-257.562.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off 原因/解決策 インスタスプロフ…
やりたいこと リクエストの中で指定されるURLの中に指定した文字列が入っていた場合にエラー処理を行う。 例としてAmazon Linuxにて検証を行い、"a"という文字列が入っていた場合に応答コード400でエラーとする。 環境情報 # nginx -v nginx version: nginx/1.25.1 (nginx-plus-r30-p1) やり方 mapディレクティブにて特定のリクエストとして"a"が含まれる場合の設定を行い http { ... map $request_uri $invalid_uri { default 0; "~*a" 1; } ... その条件の場合のエラーコ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ情報を一気に取得する。尚、デフォルトでは100ユーザを上限として出力される。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'c…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ名（username）からidを取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: appl…
