【AWS/Bedrock】Pythonから日本語でチャットAPIを利用する
やりたいこと Cloud9からAmazon Bedrockを利用する。尚、サンプルとしては「こんにちは」と入力する。 環境情報 Python 3.7.16 Anthropic Claude Instant やり方 boto3をインストールした上で $ pip install --upgrade boto3 Defaulting to user installation because normal site-packages is not writeable Collecting boto3 Downloading boto3-1.33.13-py3-none-any.whl (139 k…
【AWS/EKS】You must be logged in to the server (Unauthorized)というエラー
事象 マネージメントコンソールから作成したEKSに対してCloud9からkubectlコマンドで接続に行くも以下のようなエラーとなる。 $ kubectl get svc error: You must be logged in to the server (Unauthorized)詳細なデバッグログは以下。 $ kubectl get svc -v=9 ... helpers.go:246] server response object: [{ "metadata": {}, "status": "Failure", "message": "Unauthorized", "reason":…
【AWS/EKS】Cloud9からプライベートのエンドポイントに接続できない
事象 Cloud9から「API server endpoint access」が「Private」であるEKSに対し、接続ができない。 具体的にはaws eks update-kubeconfig --name xxによってコンフィグファイルに接続先情報が入っているにも関わらず以下のように応答が返ってこない。 $ kubectl get pod ^C 環境情報 EKS : 1.28 aws-cli/2.15.5 原因/解決策 EKSに設定したSecurity Groupによって通信がブロックされている。 該当のEKSに入っている設定は「Networking」タブの「Cluster securi…
【AWS/EC2】RHELに対してEC2 Instance Connect Endpoinでログインする
やりたいこと プライベートサブネットに立てたRed Hat Enterprise Linuxを搭載したEC2に対し、EC2 Instance Connect Endpoint経由での接続を行う。 環境情報 RHEL-9.3.0_HVM やり方 初期状態でオーダーをしただけでは以下のようなエラーとなる。 Failed to connect to your instance Error establishing SSH connection to your instance. Try again later. 原因としては接続用のモジュールが不足しているため、ユーザスクリプト（インスタンス作成時に…
【NGINX Plus】yumによるインストール時におけるconflicts with fileというエラー
事象 既にNginxをインストールしている環境にNginx Plusをインストールをすると以下のエラーとなる。 # yum install -y nginx-plus ... Downloading Packages: nginx-plus-30-2.amzn2023.ngx.x86_64.rpm 1.2 MB/s 3.5 MB 00:02 ------------------------------------------------------------------------------------------------------------------------------…
【AWS】Fleet ManagerによるRemote Desktopを行う際の権限エラー
事象 EC2にて用意したWindowsServerに対してSystem Manager > Fleet Manager > Remote Desktop にてキーペアを指定して接続を試みるも以下のエラーとなる。 An error occurred while calling the StartConnection API operation. AccessDeniedException: User: arn:aws:iam::xx:user/xx is not authorized to perform: ssm-guiconnect:StartConnection on resource: …
【Nginx】末尾にスラッシュ/をつけないと301 Moved Permanentlyとなる事象を解消する
事象 sample/index.htmlにアクセスさせるために/sampleとたたいた際に以下となる。 $ curl localhost/sample <html> <head><title>301 Moved Permanently</title></head> <body> <center><h1>301 Moved Permanently</h1></center> <hr><center>nginx/1.24.0</center> </body> </html>尚、末尾にスラッシュをつけると正常に用意したものが表示される。 $ curl localhost/sample/ my sam…
【vi/vim】viへのコピペでインデントがずれる事象への対策
事象 コピー（Ctrl+c）したテキスト情報をviのinsertモードでペースト（Ctrl+v）するとインデントがずれていく。 具体的には以下のようになる。 [ { "Notification": { "NotificationType": "ACTUAL", 環境情報 $ vi --version VIM - Vi IMproved 9.0 対応策 viのコマンドモードにて以下を入力する。 :set pasteこの状態でinsertモードに入ると下部にてpaste modeとなっていることが表示され -- INSERT (paste) -- インデントがずれずにペースト（貼り付け）が行える。…
「ブログリーダー」を活用して、社外SEくんさんをフォローしませんか？
はじめに Keycloak（RedHat Build of Keycloak）ではkc.sh（kc.bat）でレルムの情報をエクスポート及びインポートが行えます。 本記事ではレルムをエクスポートした情報を取り込み直すことで、ユーザ情報がパスワード含めて移行できることを確認しました。 はじめに 環境情報 事前準備 レルム情報の出力 レルム情報の取り込み 終わりに 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.12 事前準備 管理コンソールから「test」というレルムを新規作成し、同レルムにtestuserというユーザの作成を行います。testuserには…
事象 Amazon Linuxにてyum updateを行うと以下のように403のエラーとなる。 # yum update Amazon Linux 2023 repository 1.2 kB/s 275 B 00:00 Errors during downloading metadata for repository 'amazonlinux': - Status code: 403 for https://al2023-repos-ap-northeast-1-de612dc2.s3.dualstack.ap-northeast-1.amazonaws.com/core/mirror…
やりたいこと AWSのCloudWatchLogsのロググループを指定し、S3にログ情報を退避する。 環境情報 aws-cli/2.15.5 やり方 以下のようにロググループとS3のバケットを指定し、ログの範囲をUNIX時間で与える。 $ aws logs create-export-task --task-name "test" --log-group-name "/aws/test/" --from 1746834146000 --to 1747698146000 --destination "s3-test" --destination-prefix "hoge"すると標準出力にエクスポ…
やりたいこと Keycloak（RedHat Build of Keycloak）で新しいバージョン起動時に行われるデータベースへの変更を事前に確認する。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.11 やり方 kc.shにてデータベース移行に使用するオプションであるspi-connections-jpa-quarkus-migration-strategyを利用し、データベースの手動移行を意味するmanualを付与して実行する。 $ ./bin/kc.sh start --spi-connections-jpa-quarkus-migration…
やりたいこと 正常停止を含めたサービスの停止時にスナップショットを出力する。 環境情報 P-9W43-9Q11 : uCAR with Java for Spring Boot Red Hat Enterprise Linux 9.5 (Plow) やり方 設定ファイルである~/ucars/conf/config.propertiesに以下を追加する。 snapshot.log.filepath=/tmp/snapshot snapshot.onshutdownrequest.collect.condition=ALWAYS同設定を追加後、SIGTERMによってサービスを停止させるとzipファ…
やりたいこと Fluent Bitの設定ファイル（fluetnt.conf）に環境変数を指定し、環境変数経由で値を指定する。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 やり方 環境変数MYSERVICEを利用したい場合、以下のようにconfファイルに記載を行う。 [OUTPUT] ... log_group_template /test/${MYSERVICE} ...以下、補足です。 補足 環境変数として以下のように値を定義しておくと export MYSERVICE=hogeFluentBitの起動ログを見ると、環境変数に…
やりたいこと CloudFrontのオリジンとしてS3のホスティングを利用している際、S3のファイル格納後にエッジキャッシュをクリアしたい。 環境情報 aws-cli/2.15.5 やり方 CloudFrontにて該当のDistribution IDを特定し、以下のコマンドを実行する。 $ aws cloudfront create-invalidation --distribution-id xx --paths "/*"その結果として標準出力に以下のような結果が表示される。 { "Location": "https://cloudfront.amazonaws.com/2020-05-31…
はじめに EC2からS3を利用しようとaws s3 lsを打つも、反応がなかった際の調査ログを記載します。尚、EC2はプライベートサブネットに存在し、インターネットへの経路はなくS3のVPCエンドポイントは作成済みとします。 環境情報 aws-cli/2.15.5 調査の流れ 同事象が起きた場合、一番怪しいのはS3のVPCエンドポイントがEC2のルートテーブルに紐づいていない状態となっています。リージョンを指定してS3のエンドポイントを指定して出力すると $ aws ec2 describe-vpc-endpoints --filters "Name=service-name,Values=c…
やりたいこと Linuxサーバの負荷状況を見るため、性能試験としてCPU等のリソースを取得してグラフを作成する。 環境情報 Red Hat Enterprise Linux 9.3 sysstat version 12.5.4 やり方 以下のように間隔（秒）と回数、出力先を指定すると # /usr/bin/sar -A -o /tmp/sar 5 1000パフォーマンスファイルが作成される。 # file /tmp/sar /tmp/sar: data可視化をするためにsadfにて画像ファイルを出力させたものをブラウザで表示すると # sadf -T -g -- -A /tmp/sar > t…
はじめに ECSのタスク定義に修正を加える場合、AWSの管理コンソールにて”新しいリビジョンの作成（Create new revision/Create new revision with JSON）から行います。一方でコンテナイメージのタグのみを変更する等、軽微かつ機械的な置換で行えるものはCUIから操作したい場合もあると思います。というわけで、今回は自動化を想定してAWSCLIにてタスク定義に微修正を加え、新たなバージョンで作成する流れを検証しました。 はじめに 環境情報 更新する前のタスク定義を取得する タスク定義に修正内容を反映させる 新たなリビジョンのタスク定義を作成する 終わりに …
はじめに ECSで稼働するコンテナは、awslogsというログドライバーを有効化することで標準出力がCloud Watch Logsに連携されます。 簡易的な使い方であればこれでいいものの、より細かい用件でログルーティングを行う場合は不十分であり、代わりにFirelensコンテナを利用した構成を取る必要があります。本記事ではコンテナ内のディレクトリを指定し、そのディレクトリ配下のログをファイル毎にログストリームを分けて出力する方法について解説します。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 実装の流れ FirelensとはO…
はじめに ECSのサービスにてTaskを1つだけ稼働させ、そのTaskを異常終了させた際にどの程度の時間でECSが別のTaskを復旧させるのかを実機を用いて検証を行いました。尚、構成としてはALBを経由してECSのサービス（Apacheをコンテナとして起動）に割り振りを行う構成で、ALB経由で通信を断続的に行うことで業務通信を想定して応答結果を整理しています。構成概要 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 障害の再現と計測対象 ECSのタスクの中に入り、EntryPointで指定したコマンドをkillします。 $ aws ecs execute-command…
はじめに Keycloak（RedHat Build of Keycloak）はJavaアプリケーションとして動作するため、メモリ不足で落ちる際の挙動はJava実行の引数で渡すことができます。本記事では実際にメモリ不足（Out Of Memory）を起こし、その際にヒープダンプを出力する挙動の確認を行いました。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-24.0.5 内容確認 Keycloakを起動するkc.shでは以下の箇所でメモリー関連の値を設定しています。 if [ -z "$JAVA_OPTS_KC_HEAP" ]; then JAVA_OPTS_K…
はじめに RAG構成のAmazon Bedrockを利用している際に不審なアクセスがないかどうかを確認したいケースがあります。そのような際にAWSのCloudTrialが利用できるため、実際にログの確認を行いました。 執筆時期 2025/02 CloudTrialの設定 まず初めに、CloudTrial側でBedrock関連の操作を拾えるようにします。 そもそもCloudTrialでは「Management events」と「Data Events」があり、後者は明示的に有効化をしないと出力されません。BedrockのログはData Eventsに相当します。手順としては、AWS管理コンソール…
はじめに ECSのサービスがApplication Load Balancerの後段にある場合、ECSがコンテナを停止（SIGTERMの送信）する前に、ターゲット グループからタスクを解除する挙動をします。具体的には以下のフローとのこと。Graceful shutdowns with ECS より抜粋本記事では、この挙動をタスクの再起動時に以下を計測することで確認しました。 ターゲットグループに登録されているターゲットと状態 ECSタスクで起動しているタスク数 ECSタスクのログ 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 以下の構成を準備し、Task数は…
やりたいこと Apacheが受けた通信は別サーバにプロキシを行うが、特定のパスの通信に関してはプロキシをせずに自サーバのリソースで応答したい。例として/healthというリクエストに関しては/var/www/html/health.htmlを表示させる。特定のパスはAapche内のリソースで応答したい 環境情報 Apache/2.4.37 (Red Hat Enterprise Linux) やり方 /var/www/html/health/health.htmlを準備した上で、以下のhttpd-proxy.confを/etc/httpd/conf.d/に配置をし、サービスを起動する。 Pro…
はじめに ECSではタスク定義を指定した上で「Run Task」を行うことでコンテナをバッチのようにして起動ができます。また、起動したコンテナの実行結果は、ステータスとして完了したかだけではなくシェル終了時の終了コード（Exit Code）としても取得が可能です。本記事では実際にタスクとしてスクリプトを異常終了させ、その終了コードをコマンドから取得する流れを記載しました。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 下記のように終了コードを5で返すスクリプトを作成した上で #!/bin/bash sleep 10 exit 5コンテナイメージを作成します。…
やりたいこと Dockerfileの修正によってコンテナのログを標準出力に出すことでdocker logsで拾えるようにしたい。 例としてAapacheのコンテナを扱う。 環境情報 Amazon Linux 2 Docker 20.10.23 やり方 Dockerfileの中で以下のようにログと標準出力をリンクさせる。 RUN ln -sf /dev/stdout /var/log/httpd/access_log例えば以下のようなDockerfileでイメージをビルドしてコンテナを起動すると FROM registry.access.redhat.com/ubi8/ubi RUN yum -…
やりたいこと awscliを利用してメールを送付する。 環境情報 $ aws --version aws-cli/2.15.23 Python/3.11.6 ... やり方 トピックを作成し、そのトピックに紐づくサブスクリプションを宛先メールアドレスと共に設定。作成したトピックのARNを引数に以下のように指定をしてコマンドを押下すると $ aws sns publish --topic-arn "arn:aws:sns:ap-northeast-1:xx:xx" --message "Test"メッセージが送付される。 { "MessageId": "xx" }届いた電子メールは以下。 Fro…
やりたいこと awscliを利用し、特定のIPアドレスからの通信を拒否する。尚、通信はサブネットをまたぐ通信とする。 環境情報 $ python3 --version Python 3.8.16 やり方 サブネットに紐づくNetwork ACLのIDを利用し、以下のように設定を行う。（インバウンドであれば--ingress） $ aws ec2 replace-network-acl-entry --egress --network-acl-id xx --rule-number 10 --protocol -1 --rule-action deny --cidr-block 10.xx.xx…
はじめに テキストで与えた入力情報を元に、AWSの生成AIであるBedrockに画面遷移図を作成させる検証を行いました。尚、できるだけ自動化を行うために画像出力部分はマーメイド記法のテキストを元に画像化するmmdcコマンドを利用しています。尚、全体の流れは プロンプトを記載した入力ファイルの準備 入力ファイルを元にBedrockへ質問/回答取得 回答結果を元に画像を出力 となります。 環境情報 Amazon Linux 2 mmdc 10.6 Python 3.7.16 Claude-v2 入力情報の準備 テキストファイルにて以下のような文章を用意しました。図に使う文字を英語にしている理由は、…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザを作成した際にその応答結果から新規作成されたユーザのユーザーID（id）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 curl 7.76.1 (x86_64-redhat-linux-gnu) やり方 ユーザー作成時のcurlにて-Dオプションを利用してファイルに出力をさせると $ curl -D location.txt --request POST 'http://localhost:80…
はじめに Keycloak（RedHat Build of Keycloak）は開発モードで起動を行うと、特に設定をせずともH2という同梱されているデータベース上に情報が補完されます。本記事ではそれらのデータを新しいバージョンに持っていくために実際にデータをコピーし、起動させた際の備忘録を残しておきます。 環境情報 Red Hat Enterprise Linux VERSION="9.3 rhbk-22.0.8 rhbk-24.0.5 事前準備 新バージョンのZipを配置し、解凍します。 # ls rhbk-24.0.5 bin conf lib LICENSE.txt providers …
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリソースタイプと紐づくリソースベースドパーミッションを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと curl -X POST http://localhost:8080/admin/realms/master/clients/<client-id>/authz/resourc…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及びAggregate Policyに組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと $ curl -X POST 'http://localhost:8080/admin/realms/master/clients/<client-id>/aut…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyに関する情報を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び該当のAggregate PolicyのIDを控えた上で以下のようにGETを行うと $ curl --location --request GET 'http://localhost:8080/admin/realms/master/clients/<cl…
はじめに Red Hat build of Keycloak（Keycloakの商用版）ではユーザにグループという属性があります。 属性とは違ってサブグループ/親グループという階層構造となっているのが特徴で、ユーザへのロールマッピングにて利用されます。そんなグループですが、本記事はAdminAPIを利用して既存のグループに関して参照/変更を行う方法とその結果を記載します。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 はじめに 環境情報 参照系 グループの一覧 ユーザのグループ表示 追加系 削除系 終わりに 参照系 グループの一覧…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でクライアントリソース（client resource）を作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及びリソースを作成したいクライアントのIDを用意した上で以下のようにPOSTを行う。 $ curl --location --request POST 'http://localhost:8080/admin/realms/master/clients/XX/authz/res…
はじめに 既にNode.jsのVer16が入っているRHEL環境にて、Node.jsをVer18にあげました。せっかくなので、その際の手順と出力結果をメモしておきます。 # npm -v 8.19.4 # node -v v16.20.2 環境情報 Red Hat Enterprise Linux 9.3 背景 特に何も考えずにyumコマンドでnpmをインストールすると # yum install npm ... ... Installed: nodejs-1:16.20.2-4.el9_3.x86_64 nodejs-docs-1:16.20.2-4.el9_3.noarch nodejs-…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にて任意のユーザのアカウントロック（アカウントの無効化）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 ユーザのIDをURIに付与した状態でenabledをtrueからfalseに変更する。 $ curl --location --request PUT 'http://localhost:8080/admin/realms/master/users/'"$id"'' --header 'Content-Type: ap…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてユーザ名をキーにグループ名を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 以下のようにユーザ情報を出力した上で ./kc.sh export --dir Test --users different_filesユーザ情報が格納されたmasterファイルからユーザ名（test01）を条件にグループ情報を出力する。 $ cat master-users-0.json jq -r '.users[] select(…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリスト表示するユーザを絞る。 具体的には属性hogeの値がfugaのユーザのみの出力を行う。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin …
やりたいこと PowerShellからKeycloak（RedHat Build of Keycloak）のアクセストークンを発行する。尚、adminユーザを利用したパスワード方式での実行を想定する。 環境情報 rhbk-22.0.8 PowerShell 7.3.11 やり方 ボディデータをハッシュテーブルで定義した上でInvoke-RestMethodでPOSTリクエスト送信する。具体的てには以下スクリプトを実行することで取得が行えた。 $client_id = "admin-cli" $client_secret = "admin" $token_endpoint = "http://x…
やりたいこと Linux機でPowerShellのスクリプトファイル（.ps1）を実行する。 環境情報 Amazon Linux 2 PowerShell 7.3.11 やり方 マイクロソフトのリポジトリ情報を追加した上で $ curl https://packages.microsoft.com/config/rhel/7/prod.repo sudo tee /etc/yum.repos.d/microsoft.repoインストールを行うと $ yum -y install powershell以下にPowerShell用のコマンドが配置される。 $ which pwsh /usr/b…
はじめに Keycloak（RedHat Build of Keycloak）ではログインに成功すると内部的にはセッションが生成され、サーバ側で認証されたユーザを管理しています。また、その情報に相対する情報がブラウザ側にもクッキーとして保管されます。本記事ではサーバ側及びブラウザ側それぞれで、ログイン前/ログイン後に発行されるセッションに関する値を確認してみました。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 GoogleChrome 122.0.6261.69 ログイン前の状態 今回はテスト用ユーザにて管理用コンソールへのログ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でログイン済みのユーザセッション数の合計を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: app…
事象 InstanceProfileとしてIAMロールを設定していたEC2に対して「Modify IAM role」を実行すると Failed to replace instance profile The association iip-assoc-xx is not the active association というエラーとなる。 環境情報 $ aws --version aws-cli/2.15.5 Python/3.11.6 Linux/4.14.336-257.562.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off 原因/解決策 インスタスプロフ…
やりたいこと リクエストの中で指定されるURLの中に指定した文字列が入っていた場合にエラー処理を行う。 例としてAmazon Linuxにて検証を行い、"a"という文字列が入っていた場合に応答コード400でエラーとする。 環境情報 # nginx -v nginx version: nginx/1.25.1 (nginx-plus-r30-p1) やり方 mapディレクティブにて特定のリクエストとして"a"が含まれる場合の設定を行い http { ... map $request_uri $invalid_uri { default 0; "~*a" 1; } ... その条件の場合のエラーコ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ情報を一気に取得する。尚、デフォルトでは100ユーザを上限として出力される。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'c…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ名（username）からidを取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: appl…
