はじめに TwitterAPIライブラリ「anaconda」を用いて、Go言語(golang)からツイート検索を行います。尚、TwetterAPIの取得やanacondaライブラリの利用に関しては過去記事を参考ください。 コマンド実行環境 $ go version go version go1.12.9 linux/amd64 ツイートをGo言語から取得する anaconndaのSearchResponse型に情報を格納します。具体的な格納法はapi.GetSerach("検索したい文字列",value)です。value部分には検索時のオプションが指定でき、今回はツイート取得数のみを指定しまし…
★宇宙兄弟★ 本記事では、漫画「宇宙兄弟 36巻」の感想や印象をツラツラと書いています。 前巻 ネタバレを含んでいるので閲覧はご注意ください。宇宙兄弟（36）posted with ヨメレバ小山 宙哉 講談社 2019年08月23日 楽天ブックスAmazonKindle ebookjapan 以下、前巻末尾に記載があったあらすじです。 月面天文台を完成させ、ついに幼き日の「約束」を果たした六太。 だが、依然として帰還船の問題は残っており、月面は危険な状態が続いている。 そんな時、イヴァンをはじめ経験豊富な宇宙飛行士の揃うロシアが、レスキューミッションに名乗りを上げた。 六太とフィリップを救うべ…
はじめに 光通信にて利用される光ファイバですが、材料は一般的には石英ガラスが採用されます。本記事ではそれらの理由について深堀して説明してみます。尚、光通信部分に関する知識は前提として話を進めます。 光ファイバの材料の条件は？ 一番の条件は、光の損失の小ささで、損失というにも以下の2種類があります。 吸収損失 散乱損失 これらを考慮した際に石英ガラスは吸収損失が他の材料に比べて圧倒的に小さいです。 例えば透明に見える水でも光を吸収して熱に変換してしまいます。材料毎に光強度が半分になるのに必要な距離を算出すると、水が4mなのに対して石英ガラスが1万mを超えることからも石英ガラスの光ファイバー適正が…
【openssl】servernameオプションの有無による違い
ポイント ホスト名(ドメイン名)を指定して下記コマンドを発行するとSSL証明書に関する情報が取得できます。 $ openssl s_client -connect <domain>:443 -servername <domain>一方、-servernameオプションを指定しないと欲しい情報が取得できない場合があります。 これはWebサーバ側に複数ドメインが設定されている場合に起こりえます。 以下、解説です。 バージョン $ openssl version OpenSSL 1.1.0k 28 May 2019 解説 opensslコマンドはs_clientを指定して実行することでSSLクライア…
目的 Debian GNU/Linux 9でGolangを利用できる環境を用意する。 環境 Google Cloud Platform環境のVMインスタンス $ cat /etc/os-release PRETTY_NAME="Debian GNU/Linux 9 (stretch)" NAME="Debian GNU/Linux" VERSION_ID="9" VERSION="9 (stretch)" ID=debian HOME_URL="https://www.debian.org/" SUPPORT_URL="https://www.debian.org/support" BUG_R…
はじめに コンテナに最適化されたOS、CoreOSは別名Container Linuxとも呼ばれています。本記事では「CoreOS」を初めて聞いた方向けに分かりやすい記事を書きました。 CoreOSとは？ Container Linux redefines the operating system as a smaller, more compact Linux distribution. Traditional distros package unused software that leads to dependency conflicts and needlessly increases…
はじめに 例えばクラウドを利用する際、サーバの初期構築を行う必要はありますがストレージの構築作業は意識しない場合が多いです。ただしストレージ初期構築のコマンドやそれに付随する用語を知っていると、ストレージ周りの知識を得ることもできるので今回はStorwizeシリーズを元にしていくつかコマンドを紹介しました。 ストレージ構築用コマンド mkuser サーバの初期構築でも登場するコマンドですが、ストレージにももちろん存在します。 構築及び状況照会用のユーザが作成できます。以下、構文例です。 mkuser -name testuser -usergrp testgroup -password tes…
はじめに 先日、アルキメデスの大戦という邦画を見ました。 話としては 旧日本海軍の戦艦開発における技術戦略と人間模様をテーマにした作品で、戦艦大和を中心にしたストーリーでした。見ていると「大和型戦艦」自体に興味がでてきたので、今回は数字に着目して整理してみました。 大日本帝国海軍が建造した戦艦。戦艦として排水量、搭載主砲口径（46cm）とも史上最大。日本で建造された最後の戦艦艦型でもある。 (画像共にWikiより抜粋) 数字で見る戦艦大和の大きさ 全長 263m 東京ドームの直径が244mなので、東京ドームを肉眼で見れば大和の大きさが実感できます。 乗り組み員数は2500人。 ただし前代未聞と…
ワンライナー 例えば以下のように日付で管理されているファイルがあった際に # ls 20190723.txt 20190729.txt 20190804.txt 20190810.txt 20190816.txt 20190724.txt 20190730.txt 20190805.txt 20190811.txt 20190817.txt 20190725.txt 20190731.txt 20190806.txt 20190812.txt 20190818.txt 20190726.txt 20190801.txt 20190807.txt 20190813.txt 20190819.tx…
【Linux】コメント行をsedで非表示にするワンライナーの解説
ワンライナー cron内容が記載されている/var/spool/cron/crontabs/rootに対して # DO NOT EDIT THIS FILE - edit the master and reinstall. # (/tmp/crontab.HthPYB/crontab installed on Sat Aug 10 04:32:46 2019) # (Cron version -- $Id: crontab.c,v 2.13 1994/01/17 03:20:37 vixie Exp $) # Edit this file to introduce tasks to be ru…
はじめに Chefは、実行環境の状態をJSON形式で出力する「Ohai」というライブラリを利用しますが、「Ohai」単体で利用することもできます。 サーバの設定値を確認するコマンドとして、このようなライブラリを利用すると便利と思い、本記事ではLinuxサーバにChefの環境用意のついでにOhaiをインストールする流れを記載します。 環境情報 Debian GNU/Linux 9 (stretch) curl 7.52.1 (x86_64-pc-linux-gnu) インストールのハンズオン 結論から言えば以下のcurlコマンドでインストールします。-Lリダイレクト先に対してもリクエストを発行し…
はじめに Javaを利用し、オーソドックスな座標の平行移動にてトリミングを実現する流れを記載しました。 画像ファイルを画素の配列として扱いながら処理するので、アイデアによっては応用が利くとと思います。本記事では手動でトリミングするための情報を与えていますが、例えば以下記事を利用すれば画像内の特定のマーカーの位置を検出してそこを基軸にトリミングも可能です。 参考（import文） java.awt.image.BufferedImage java.io.* javax.imageio.ImageIO 画像のトリミング方法 元ファイルは以下で読み込み File f = new File("C:\\…
はじめに 画像ファイルの各画素を抜き出し、その情報と一致する箇所を部分抽出する処理を実施する流れの記載しました。Javaで利用しているパッケージは以下となります。 参考（import文） java.awt.image.BufferedImage java.io.* javax.imageio.ImageIO 該当画像の画素情報を取得する File f = new File("C:\\Users\\XXXX\\Downloads\\googlelogo.png"); BufferedImage read=ImageIO.read(f); int w = read.getWidth(); int …
【SikuliX】mouseMoveによるカーソル移動のポイント
ポイント mouseMove関数にLocationとして値を引数に入れると絶対値としてカーソルが移動し、スカラーとして値を入れると相対的にカーソルが移動します。以下、補足です。 補足 例えばSikuliXにて nowlocation = Env.getMouseLocation()として現在のマウス（カーソル）位置を取得し、それらをprintにて出力すると以下のように表示されます。 nowlocation(754,69)@S(0)[0,0 1366x768] これは「ディスプレイ全体は1366x768の座標を持ち現在のカーソル位置は754,69」と読みます。このLocation型を用いて例えば…
【FabricOS】SANスイッチのポートアクティベーション手順
はじめに Brocade社のSANスイッチのポートを追加で有効化した際の手順について備忘録として残しておきます。 後続の方の参考になれば幸いです。 環境情報 Fabric OS : v7.4 事前準備 ポートアクティベーションのためのライセンスキーを発行するためには、実機の「ライセンスID」と有効な「トランザクションキー」をBroadcomのページに入力します。 アカウント準備 mybroadcomにまだアカウントをお持ちでない場合はユーザ登録が必要です。 Your request for access to Broadcom’s SW Portal has been received and…
はじめに HMCとはHardware Management Consoleの略で、Power Systemsを一元管理するツールです。本記事では、本用語を初めて聞いた方向けにラックマウント型のHMCに関して情報を分かりやすく整理しました。 HMCとは？ 実体としてはSystemXというx86アーキテクチャにLinuxベースの専用OSが導入されたアプライアンス製品です。以下が背面図です。 HMCの公式ページより抜粋役割としては、ネットワーク経由で機器本体及びその上に展開されているLPARをGUIベースで管理できるのでVMware製品のvCenterに近い役割です。また、ディスプレイやキーボードを…
【SikuliX】org.sikuli.script.FindFailedでエラーとなった場合の対処法
事象 SikuliXにてfindまたはfindAllを実施しようとした際に [error] script XX stopped with error at line --unknown-- [error] Error caused by: Traceback (most recent call last): File "C:\Users\XX\yy.py", line 1, in <module> find(zz) Line 2761, in file Region.java at org.sikuli.script.Region.wait(Region.java:2761) at org.s…
SikuliXのインストール備忘録 プロジェクト用PCにSikuliXをインストールした際のメモ。規約上ひと昔前のものしか使えないようでした。 バージョン Sikuli IDE 1.0.1 Windows 10 手順 sikuli-setup.jarを取得し、展開。runSetup.cmdというスクリプトが生成される。このスクリプトを実行する際はJAVA_HOMEが設定されていることが必要。 以下、エラー時のメッセージ。 C:\Users\XXX\Downloads>runSetup.cmd 'Files' は、内部コマンドまたは外部コマンド、 操作可能なプログラムまたはバッチ ファイルとして…
はじめに グラフとはノード群とノード間の連結関係を表すエッジ群で構成されるデータ型で、簡単に言えば頂点と頂点を線で結んだデータ構造です。具体的には以下のようなものです。 本記事ではこのような図をR言語でサクッと作成する手順について解説します。 グラフ構造の可視化 DiagrammeRパッケージをインストール > install.packages("DiagrammeR") パッケージを ‘C:/Users/XXX/Documents/R/win-library/3.6’ 中にインストールします 依存対象 (dependency) ‘brew’, ‘hms’, ‘clipr’, ‘XML’, ‘…
はじめに SikuliXとはオープンソースのRPAツールで、事前に用意した画像と画面上のオブジェクトの類似性を元に操作が行えます。 また、用意された画像や事前に指定した画面の領域からテキストを抽出する機能も存在します。本記事では光学的文字認識,、いわゆるイメージから文字列を取得する手法について紹介します。 環境情報 java version "1.8.0_201" Sikulix IDE 1.1.3 SikuliXによるテキスト抽出方法 事前準備:注意点 結論から言うと選択した領域に.text()メソッドを用いれば文字列を取り出せます。一方で設定ができていなければ例えば以下のようにprint文…
はじめに 仮想記憶？何が仮？程度の知識でも仮想記憶について理解できるよう、順を追って説明する入門記事を書いてみました。所要時間目安 : 5分 仮想記憶とは？ 仮想記憶とは搭載されているメモリにプロセスから直接アクセスさせるのではなく仮想アドレスというアドレスを用いて間接的にアクセスさせる仕組みです。要はメモリへのアクセスに関する仕組みです。メモリってなんだっけ？ そもそもメモリとは？ メモリとはコンピュータを構成するパーツの一つで高速に読み書きできる記憶装置です。主記憶装置とも言われます。 同じく記憶装置であるディスク等はメモリと対比して補助記憶装置と呼ばれます。 以下のような全体像で、CPU…
はじめに サーバーやスイッチは電気信号をビットとして処理しますが、光ファイバーは光信号を伝送します。 そんな光ファイバーを機器に接続する際には専用のコネクタが必要で、そのコネクタによって光信号を電気信号に変換しています。そんな接続モジュールの規格が「GBIC」と「SFP」です。本記事ではこの2つの用語を初めて聞いたという方に向けて分かりやすく解説してみました。 GBICとは？ GigaBit Interface Converter、略してGBIC(ジービック)です。本仕様は1995年に策定され、光ファイバー回線を用いる業務用のネットワーク機器などで利用されました。 大きさは高さ1cm×幅3cm…
山頂立体地図データ 以下の国土地理院のサイトにて日本の山岳データが取得できます。 立体地図（日本の主な山岳） ＊山名をクリックすると、「地理院地図」で、山頂付近が表示されます。 【3D表示】をクリックすると、山頂付近が立体地図表示されます。 例えば富士山を選択して3D表示すると以下のようにブラウザに表示されます。 マウスで任意の角度にぐりぐりと動かすことも可能です。このデータが素晴らしいのは、元データをダウンロード可能な点にあります。フォーマットとしては3種類、STL*1とVRML*2とWebGLです。 STLファイル 色を付けられない3Dプリンタ用のデータ .stl VRMLファイル フルカ…
ハンズオン 環境情報 # cat /etc/os-release head -n 1 PRETTY_NAME="Debian GNU/Linux 9 (stretch)" 100MBのファイルを作成する # dd if=/dev/zero of=100mbfile oflag=direct bs=1M count=100 100+0 records in 100+0 records out 104857600 bytes (105 MB, 100 MiB) copied, 2.7764 s, 37.8 MB/s ファイルを確認する # ls -lh total 101M -rw-r--r-…
方法 test.xlsxというファイルのSheet1に以下セルがあるとして Name Age Sex Ken 30 M Yumi 25 F Takashi 28 M openxlsxライブラリの関数read.xlsxを利用するとdata.frameとして取得可能。 > wb <- read.xlsx("test.xlsx") > wb Name Age Sex 1 Ken 30 M 2 Yumi 25 F 3 Takashi 28 M 型を確認すると以下のようによしなに扱ってくれる。 > str(wb) 'data.frame': 3 obs. of 3 variables: $ Name: …
インプット大全とは ITエンジニアに読んでほしい！技術書・ビジネス書 大賞2019を受賞したアウトプット大全の続編である「インプット大全」、テーマは限られた時間で良質な学びを手に入れるです。 関連記事 中身についてですが、 1章で以下のような問いがあります。 内容の薄い「三振本」を月に10冊読む人と気づきがたくさんある「ホームラン本」を月に1冊読む人、どちらが自己成長するでしょうか？ テーマから分かる通り、後者こそ成長すると述べられています。いかに質を追求するか、この本の肝はこの一点です。ただし、そんな素晴らしい一冊を読めと突き放すのではなく同じ媒体から情報を得るにしてもどのようにすれば質を吸…
はじめに V7000では基本筐体と拡張筐体はSASケーブルで結線を行い、その際にSASチェーンといった用語が登場します。 本記事ではそれらのポイントについて簡単に整理しました。公式ドキュメントを読んでもイマイチ分からなかった方は本記事を読んだ上で再度ドキュメントを読むと理解の一助になるかと思います。 SASポートを介した接続 V7000においては基本筐体はコントローラと呼ばれ、いわゆるストレージ管理機能が提供されています。 以下がV7000コントローラの背面図で、中央部に上下反転の2台のキャニスターが見えます。これがRAIDコントローラ部分で、それぞれにSASポートが2ポートずつ、一台のコント…
はじめに 先日、行政システムの現状について調査していた際に発見したプロジェクトを紹介します。その名も自治体クラウド、です。 自治体の情報システムやデータを外部のデータセンターに移すことで複数の自治体で共同利用しようよ、という取り組みで総務省が推進しています。本記事ではこれらの背景とメリットと推進ポイントについて解説します。 参考 総務省｜自治体クラウドポータルサイト 取り組みについて 背景 住民基本台帳や税務、福祉を行うシステムがその自治体の庁舎内の電算機に設置されていて業務処理をしているところが多々ある模様です。たまに XX市の住民情報を管理するシステムの障害で住民票などが発行できなくなった…
はじめに タイトルの件、雑誌ニュートンにて簡潔に整理されており大変興味深く拝見しました。 ポイントは、それらを引き起こす菌が違います。歯科の二大疾患である二つの事象について、本記事では周辺知識を足しながら分かりやすく説明しました。 代表的な菌の違い ミュータンス菌 Pg菌 虫歯の原因 歯周病の原因 ミュータンス菌 Streptococcus mutansとも呼ばれるミュータンス菌、要は虫歯菌です。 このミュータンス菌は糖分を分解して歯垢の元を作り、歯垢を温床に酸を作ります。この酸によって、歯質が脱灰される現象が虫歯です。この脱灰という用語、馴染みがないですが（だっかい）と読み、生物の硬組織から…
はじめに 巷でよく聞くPCIeとはPCIExpressの略で、いわゆる拡張スロットの規格です。 ちなみに読み方はピーシーアイエクスプレスまたはピーシーアイイーと呼びます。本記事ではピーシーアイイーと言われてもピンとこない人向けに、分かりやすく説明してみました。 PCIeとは？ 以下の図はマザーボードの全体図です。 https://www.eidos.ic.i.u-tokyo.ac.jp/~tau/lecture/komaba_joho/gen2/slides/6-computer.pdf より画像を抜粋右側にある拡張スロットという括りでPCIという文言が確認できますね。そもそもPCIはPeri…
最後に実行された結果を取得する便利な変数 R言語では最後に評価された値を.Last.valueで参照することができます。.L と 入れてTabキーで補完すれば候補として表示されるので覚えておくとどこかで役立つやもしれません。 > .L .Last.value .Library .Library.site > .L 実行結果の例 > 1+2 [1] 3 > .Last.value [1] 3気を付けるべきなのは標準出力したものではなく最後に評価された値が格納される点です。 > 1+2 [1] 3 > .Last.value [1] 3 > a <- 1+3 > .Last.value [1] 4…
「ブログリーダー」を活用して、社外SEくんさんをフォローしませんか？
はじめに Keycloak（RedHat Build of Keycloak）ではkc.sh（kc.bat）でレルムの情報をエクスポート及びインポートが行えます。 本記事ではレルムをエクスポートした情報を取り込み直すことで、ユーザ情報がパスワード含めて移行できることを確認しました。 はじめに 環境情報 事前準備 レルム情報の出力 レルム情報の取り込み 終わりに 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.12 事前準備 管理コンソールから「test」というレルムを新規作成し、同レルムにtestuserというユーザの作成を行います。testuserには…
事象 Amazon Linuxにてyum updateを行うと以下のように403のエラーとなる。 # yum update Amazon Linux 2023 repository 1.2 kB/s 275 B 00:00 Errors during downloading metadata for repository 'amazonlinux': - Status code: 403 for https://al2023-repos-ap-northeast-1-de612dc2.s3.dualstack.ap-northeast-1.amazonaws.com/core/mirror…
やりたいこと AWSのCloudWatchLogsのロググループを指定し、S3にログ情報を退避する。 環境情報 aws-cli/2.15.5 やり方 以下のようにロググループとS3のバケットを指定し、ログの範囲をUNIX時間で与える。 $ aws logs create-export-task --task-name "test" --log-group-name "/aws/test/" --from 1746834146000 --to 1747698146000 --destination "s3-test" --destination-prefix "hoge"すると標準出力にエクスポ…
やりたいこと Keycloak（RedHat Build of Keycloak）で新しいバージョン起動時に行われるデータベースへの変更を事前に確認する。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.11 やり方 kc.shにてデータベース移行に使用するオプションであるspi-connections-jpa-quarkus-migration-strategyを利用し、データベースの手動移行を意味するmanualを付与して実行する。 $ ./bin/kc.sh start --spi-connections-jpa-quarkus-migration…
やりたいこと 正常停止を含めたサービスの停止時にスナップショットを出力する。 環境情報 P-9W43-9Q11 : uCAR with Java for Spring Boot Red Hat Enterprise Linux 9.5 (Plow) やり方 設定ファイルである~/ucars/conf/config.propertiesに以下を追加する。 snapshot.log.filepath=/tmp/snapshot snapshot.onshutdownrequest.collect.condition=ALWAYS同設定を追加後、SIGTERMによってサービスを停止させるとzipファ…
やりたいこと Fluent Bitの設定ファイル（fluetnt.conf）に環境変数を指定し、環境変数経由で値を指定する。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 やり方 環境変数MYSERVICEを利用したい場合、以下のようにconfファイルに記載を行う。 [OUTPUT] ... log_group_template /test/${MYSERVICE} ...以下、補足です。 補足 環境変数として以下のように値を定義しておくと export MYSERVICE=hogeFluentBitの起動ログを見ると、環境変数に…
やりたいこと CloudFrontのオリジンとしてS3のホスティングを利用している際、S3のファイル格納後にエッジキャッシュをクリアしたい。 環境情報 aws-cli/2.15.5 やり方 CloudFrontにて該当のDistribution IDを特定し、以下のコマンドを実行する。 $ aws cloudfront create-invalidation --distribution-id xx --paths "/*"その結果として標準出力に以下のような結果が表示される。 { "Location": "https://cloudfront.amazonaws.com/2020-05-31…
はじめに EC2からS3を利用しようとaws s3 lsを打つも、反応がなかった際の調査ログを記載します。尚、EC2はプライベートサブネットに存在し、インターネットへの経路はなくS3のVPCエンドポイントは作成済みとします。 環境情報 aws-cli/2.15.5 調査の流れ 同事象が起きた場合、一番怪しいのはS3のVPCエンドポイントがEC2のルートテーブルに紐づいていない状態となっています。リージョンを指定してS3のエンドポイントを指定して出力すると $ aws ec2 describe-vpc-endpoints --filters "Name=service-name,Values=c…
やりたいこと Linuxサーバの負荷状況を見るため、性能試験としてCPU等のリソースを取得してグラフを作成する。 環境情報 Red Hat Enterprise Linux 9.3 sysstat version 12.5.4 やり方 以下のように間隔（秒）と回数、出力先を指定すると # /usr/bin/sar -A -o /tmp/sar 5 1000パフォーマンスファイルが作成される。 # file /tmp/sar /tmp/sar: data可視化をするためにsadfにて画像ファイルを出力させたものをブラウザで表示すると # sadf -T -g -- -A /tmp/sar > t…
はじめに ECSのタスク定義に修正を加える場合、AWSの管理コンソールにて”新しいリビジョンの作成（Create new revision/Create new revision with JSON）から行います。一方でコンテナイメージのタグのみを変更する等、軽微かつ機械的な置換で行えるものはCUIから操作したい場合もあると思います。というわけで、今回は自動化を想定してAWSCLIにてタスク定義に微修正を加え、新たなバージョンで作成する流れを検証しました。 はじめに 環境情報 更新する前のタスク定義を取得する タスク定義に修正内容を反映させる 新たなリビジョンのタスク定義を作成する 終わりに …
はじめに ECSで稼働するコンテナは、awslogsというログドライバーを有効化することで標準出力がCloud Watch Logsに連携されます。 簡易的な使い方であればこれでいいものの、より細かい用件でログルーティングを行う場合は不十分であり、代わりにFirelensコンテナを利用した構成を取る必要があります。本記事ではコンテナ内のディレクトリを指定し、そのディレクトリ配下のログをファイル毎にログストリームを分けて出力する方法について解説します。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 実装の流れ FirelensとはO…
はじめに ECSのサービスにてTaskを1つだけ稼働させ、そのTaskを異常終了させた際にどの程度の時間でECSが別のTaskを復旧させるのかを実機を用いて検証を行いました。尚、構成としてはALBを経由してECSのサービス（Apacheをコンテナとして起動）に割り振りを行う構成で、ALB経由で通信を断続的に行うことで業務通信を想定して応答結果を整理しています。構成概要 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 障害の再現と計測対象 ECSのタスクの中に入り、EntryPointで指定したコマンドをkillします。 $ aws ecs execute-command…
はじめに Keycloak（RedHat Build of Keycloak）はJavaアプリケーションとして動作するため、メモリ不足で落ちる際の挙動はJava実行の引数で渡すことができます。本記事では実際にメモリ不足（Out Of Memory）を起こし、その際にヒープダンプを出力する挙動の確認を行いました。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-24.0.5 内容確認 Keycloakを起動するkc.shでは以下の箇所でメモリー関連の値を設定しています。 if [ -z "$JAVA_OPTS_KC_HEAP" ]; then JAVA_OPTS_K…
はじめに RAG構成のAmazon Bedrockを利用している際に不審なアクセスがないかどうかを確認したいケースがあります。そのような際にAWSのCloudTrialが利用できるため、実際にログの確認を行いました。 執筆時期 2025/02 CloudTrialの設定 まず初めに、CloudTrial側でBedrock関連の操作を拾えるようにします。 そもそもCloudTrialでは「Management events」と「Data Events」があり、後者は明示的に有効化をしないと出力されません。BedrockのログはData Eventsに相当します。手順としては、AWS管理コンソール…
はじめに ECSのサービスがApplication Load Balancerの後段にある場合、ECSがコンテナを停止（SIGTERMの送信）する前に、ターゲット グループからタスクを解除する挙動をします。具体的には以下のフローとのこと。Graceful shutdowns with ECS より抜粋本記事では、この挙動をタスクの再起動時に以下を計測することで確認しました。 ターゲットグループに登録されているターゲットと状態 ECSタスクで起動しているタスク数 ECSタスクのログ 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 以下の構成を準備し、Task数は…
やりたいこと Apacheが受けた通信は別サーバにプロキシを行うが、特定のパスの通信に関してはプロキシをせずに自サーバのリソースで応答したい。例として/healthというリクエストに関しては/var/www/html/health.htmlを表示させる。特定のパスはAapche内のリソースで応答したい 環境情報 Apache/2.4.37 (Red Hat Enterprise Linux) やり方 /var/www/html/health/health.htmlを準備した上で、以下のhttpd-proxy.confを/etc/httpd/conf.d/に配置をし、サービスを起動する。 Pro…
はじめに ECSではタスク定義を指定した上で「Run Task」を行うことでコンテナをバッチのようにして起動ができます。また、起動したコンテナの実行結果は、ステータスとして完了したかだけではなくシェル終了時の終了コード（Exit Code）としても取得が可能です。本記事では実際にタスクとしてスクリプトを異常終了させ、その終了コードをコマンドから取得する流れを記載しました。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 下記のように終了コードを5で返すスクリプトを作成した上で #!/bin/bash sleep 10 exit 5コンテナイメージを作成します。…
やりたいこと Dockerfileの修正によってコンテナのログを標準出力に出すことでdocker logsで拾えるようにしたい。 例としてAapacheのコンテナを扱う。 環境情報 Amazon Linux 2 Docker 20.10.23 やり方 Dockerfileの中で以下のようにログと標準出力をリンクさせる。 RUN ln -sf /dev/stdout /var/log/httpd/access_log例えば以下のようなDockerfileでイメージをビルドしてコンテナを起動すると FROM registry.access.redhat.com/ubi8/ubi RUN yum -…
やりたいこと awscliを利用してメールを送付する。 環境情報 $ aws --version aws-cli/2.15.23 Python/3.11.6 ... やり方 トピックを作成し、そのトピックに紐づくサブスクリプションを宛先メールアドレスと共に設定。作成したトピックのARNを引数に以下のように指定をしてコマンドを押下すると $ aws sns publish --topic-arn "arn:aws:sns:ap-northeast-1:xx:xx" --message "Test"メッセージが送付される。 { "MessageId": "xx" }届いた電子メールは以下。 Fro…
やりたいこと awscliを利用し、特定のIPアドレスからの通信を拒否する。尚、通信はサブネットをまたぐ通信とする。 環境情報 $ python3 --version Python 3.8.16 やり方 サブネットに紐づくNetwork ACLのIDを利用し、以下のように設定を行う。（インバウンドであれば--ingress） $ aws ec2 replace-network-acl-entry --egress --network-acl-id xx --rule-number 10 --protocol -1 --rule-action deny --cidr-block 10.xx.xx…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザを作成した際にその応答結果から新規作成されたユーザのユーザーID（id）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 curl 7.76.1 (x86_64-redhat-linux-gnu) やり方 ユーザー作成時のcurlにて-Dオプションを利用してファイルに出力をさせると $ curl -D location.txt --request POST 'http://localhost:80…
はじめに Keycloak（RedHat Build of Keycloak）は開発モードで起動を行うと、特に設定をせずともH2という同梱されているデータベース上に情報が補完されます。本記事ではそれらのデータを新しいバージョンに持っていくために実際にデータをコピーし、起動させた際の備忘録を残しておきます。 環境情報 Red Hat Enterprise Linux VERSION="9.3 rhbk-22.0.8 rhbk-24.0.5 事前準備 新バージョンのZipを配置し、解凍します。 # ls rhbk-24.0.5 bin conf lib LICENSE.txt providers …
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリソースタイプと紐づくリソースベースドパーミッションを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと curl -X POST http://localhost:8080/admin/realms/master/clients/<client-id>/authz/resourc…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及びAggregate Policyに組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと $ curl -X POST 'http://localhost:8080/admin/realms/master/clients/<client-id>/aut…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyに関する情報を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び該当のAggregate PolicyのIDを控えた上で以下のようにGETを行うと $ curl --location --request GET 'http://localhost:8080/admin/realms/master/clients/<cl…
はじめに Red Hat build of Keycloak（Keycloakの商用版）ではユーザにグループという属性があります。 属性とは違ってサブグループ/親グループという階層構造となっているのが特徴で、ユーザへのロールマッピングにて利用されます。そんなグループですが、本記事はAdminAPIを利用して既存のグループに関して参照/変更を行う方法とその結果を記載します。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 はじめに 環境情報 参照系 グループの一覧 ユーザのグループ表示 追加系 削除系 終わりに 参照系 グループの一覧…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でクライアントリソース（client resource）を作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及びリソースを作成したいクライアントのIDを用意した上で以下のようにPOSTを行う。 $ curl --location --request POST 'http://localhost:8080/admin/realms/master/clients/XX/authz/res…
はじめに 既にNode.jsのVer16が入っているRHEL環境にて、Node.jsをVer18にあげました。せっかくなので、その際の手順と出力結果をメモしておきます。 # npm -v 8.19.4 # node -v v16.20.2 環境情報 Red Hat Enterprise Linux 9.3 背景 特に何も考えずにyumコマンドでnpmをインストールすると # yum install npm ... ... Installed: nodejs-1:16.20.2-4.el9_3.x86_64 nodejs-docs-1:16.20.2-4.el9_3.noarch nodejs-…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にて任意のユーザのアカウントロック（アカウントの無効化）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 ユーザのIDをURIに付与した状態でenabledをtrueからfalseに変更する。 $ curl --location --request PUT 'http://localhost:8080/admin/realms/master/users/'"$id"'' --header 'Content-Type: ap…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてユーザ名をキーにグループ名を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 以下のようにユーザ情報を出力した上で ./kc.sh export --dir Test --users different_filesユーザ情報が格納されたmasterファイルからユーザ名（test01）を条件にグループ情報を出力する。 $ cat master-users-0.json jq -r '.users[] select(…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリスト表示するユーザを絞る。 具体的には属性hogeの値がfugaのユーザのみの出力を行う。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin …
やりたいこと PowerShellからKeycloak（RedHat Build of Keycloak）のアクセストークンを発行する。尚、adminユーザを利用したパスワード方式での実行を想定する。 環境情報 rhbk-22.0.8 PowerShell 7.3.11 やり方 ボディデータをハッシュテーブルで定義した上でInvoke-RestMethodでPOSTリクエスト送信する。具体的てには以下スクリプトを実行することで取得が行えた。 $client_id = "admin-cli" $client_secret = "admin" $token_endpoint = "http://x…
やりたいこと Linux機でPowerShellのスクリプトファイル（.ps1）を実行する。 環境情報 Amazon Linux 2 PowerShell 7.3.11 やり方 マイクロソフトのリポジトリ情報を追加した上で $ curl https://packages.microsoft.com/config/rhel/7/prod.repo sudo tee /etc/yum.repos.d/microsoft.repoインストールを行うと $ yum -y install powershell以下にPowerShell用のコマンドが配置される。 $ which pwsh /usr/b…
はじめに Keycloak（RedHat Build of Keycloak）ではログインに成功すると内部的にはセッションが生成され、サーバ側で認証されたユーザを管理しています。また、その情報に相対する情報がブラウザ側にもクッキーとして保管されます。本記事ではサーバ側及びブラウザ側それぞれで、ログイン前/ログイン後に発行されるセッションに関する値を確認してみました。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 GoogleChrome 122.0.6261.69 ログイン前の状態 今回はテスト用ユーザにて管理用コンソールへのログ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でログイン済みのユーザセッション数の合計を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: app…
事象 InstanceProfileとしてIAMロールを設定していたEC2に対して「Modify IAM role」を実行すると Failed to replace instance profile The association iip-assoc-xx is not the active association というエラーとなる。 環境情報 $ aws --version aws-cli/2.15.5 Python/3.11.6 Linux/4.14.336-257.562.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off 原因/解決策 インスタスプロフ…
やりたいこと リクエストの中で指定されるURLの中に指定した文字列が入っていた場合にエラー処理を行う。 例としてAmazon Linuxにて検証を行い、"a"という文字列が入っていた場合に応答コード400でエラーとする。 環境情報 # nginx -v nginx version: nginx/1.25.1 (nginx-plus-r30-p1) やり方 mapディレクティブにて特定のリクエストとして"a"が含まれる場合の設定を行い http { ... map $request_uri $invalid_uri { default 0; "~*a" 1; } ... その条件の場合のエラーコ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ情報を一気に取得する。尚、デフォルトでは100ユーザを上限として出力される。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'c…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ名（username）からidを取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: appl…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザのパスワードを設定する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: application/x…
