はじめに 「金融庁」という言葉は金融機関のプロジェクトであれば耳にする事があるワードです。 本記事では、エンジニアの観点で金融庁を整理してみました。 そもそも金融庁とは？ 金融庁とは英語でFinancial Services Agencyと呼ばれ、金融庁設置法が存在のベースになっている機関です。 その機関の任務も明文化されており「日本の金融の機能の安定を確保し、預金者、保険契約者、金融商品の投資者その他これらに準ずる者の保護を図るとともに、金融の円滑を図ること」とあります。システム移行などで提言してくるのも、このあたりが背景ですね。構造としては、内閣府の外局なので内閣総理大臣の所轄の下に設置さ…
はじめに OSPFとはOpen Shortest Path Firstの略で、RIPに代わるルーティングプロトコルとしてITの現場ではよく見かけます。本記事は、「OSPFはリンクステート方式でネットワークの帯域等も考慮して経路を選定できる」といった肝の知識に加えて、パケット構造からOSPFの特徴を補足説明してみました。 OSPFのパケット構造は？ パケットの共通ヘッダは以下となります。 Version Type Packet length Router ID Area ID Checksum Autype Authentication このそれぞれを見ていけば、OSPFの特徴が補足的につかめま…
【はてなブログ】サイドバーの横幅を狭めてパソコンから非表示にする方法
はじめに はてなブログのサイドバーをスマホでのみ非表示にする方法は以下の記事に記載しました。 今回はスマホ以外の例えばパソコンでも非表示にする際のTipsについて記載します。 はてなブログのサイドバー非表示問題 パソコンでも非表示にしたければ以下をデザインCSSに記載するか #box2 { display: none; }デザイン設定にて「サイドバー」のモジュールを全て消去すれば非表示になります。ただし、一点問題があります。サイドバーを単純に消してしまうと以下のように本文右側に空白のスペースが大きく残ってしまいます。本文横に空きスペースができてしまう 問題への解決方法 デザインCSSに以下を記…
【Linux】複数ファイルのzipをunzipコマンドで解凍する
はじめに UNIX環境ではzip形式のファイルを展開するためにgunzipコマンドが存在する。 $ which gunzip /bin/gunzipファイル群がtarで括られ、それをzip形式としていれば問題なくgunzipで展開されるのですが、ファイル群をzip形式にしていると以下のようなエラーとなります。 $ gunzip -d --suffix zip hoge.zip gzip: hoge.zip has more than one entry -- unchanged本記事では、複数ファイルが含まれている場合でも利用できるunzipコマンドをインストールし、解凍した流れを説明します。…
【トラブル】JUMPの自転車を返却したのに料金加算が止まらなかった話
事象 赤色が特徴の電動アシスト自転車JUMPにて返却手順を実施したにも関わらず、アプリ上では返却ステータスにならないつまりケーブルが挿さっているため利用できない状態にも関わらず、料金加算は続く状態 対応 Uber上のアプリからヘルプデスクに事象報告。 また、念のためヘルプデスクに対して英語でメール。その後は別の用事のため、自転車の場所を離れる。ただし、後述しますが 自転車を停めた時間、場所、自転車が物理的にロックされているか否か はメモしておくことをお勧めします。 結果 連絡から数時間以内に事象が解決し、料金も正しく請求される。（なんなら少し安くなっていました） 以下、詳細な流れです。 ポイン…
【画像あり】UberでJUMPの自転車をレンタルする流れ（2/2）
はじめに アメリカ西海岸のサンタモニカにて、砂浜沿いを赤い電動アシスト自転車JUMPで颯爽した際の手順メモです。前半部分にてロック解除の流れを記載していますので、まだ見ていない方はこちらからご覧ください。 本記事では、ロック解除した後の流れについて詳細に記載します。 ロック解除後の手順 ロック解除後は以下のように左側のユーザマークが点灯しています。 画像を確認すると見えますが、右側のハンドルでギアを3段階で変更できます。次にサドルです。以下のような構造になっているのでレバーを引いて外せば自由に上下させることができます。足の長い外国の方が前に使っているとかなり高い位置にあったりするので適宜調整し…
【画像あり】UberでJUMPの自転車をレンタルする流れ（1/2）
はじめに アメリカ西海岸にて街中を走る赤い電動アシスト自転車が気になり、実際に利用した際のメモ書きです。 同様に利用してみたい方の参考になれば幸いです。利用者の方が気になるであろうポイントをまずは記載します。 自転車は電動（一部エリアは電動モードが抑制される模様） 免許は不要（JUMPの電動スクーターには必要） 1分あたり0.3ドル（30分借りれば約10ドル 結構高い） このポイントに加えて、本記事ではロック解除手順について詳細に記載します。 ロック解除手順 まずは乗る自転車を探します。例えば以下のように並んで置かれている箇所があります。奥側にある赤い車体がJUMP実際、Uberのアプリ上でも…
はじめに 注意：本記事はかなり無理やり立方体を描画しています。もっとスマートな方法が見つかればそちらに切り替えようと思いますが、備忘録としてメモしておきます。 方針 scatterplot3dで立方体の表面を点群として表現します。 実装 一辺を50個の点群で作るとすれば一面は2500個の点群で構成するイメージです。例えば for(i in 1:50) { for(j in 1:50) { rbind(cubetest,c(basex+1,basey+i,basez+j,"#ff0000")) } }上記で一面分のデータがcubetestに格納されます。 ここでbasex等は定数でオフセットの役…
はじめに GCPにはCloudSQLというMySQLまたはPostgreSQLのPaaSが提供されており、以下に該当しない場合は利用が推奨されています。 DBサーバに対して特定のOS要件がある DBの構成ファイルに対して特定の要件が必要である DBのバックアップに関して特定の要件がある VMを用意し、自分が用意したDBサーバとの接続であればDBの知識のみで対応可能ですがPaaSになればプラットフォームを提供するサービスについて新たに学ぶ必要が出てきます。本記事ではGoogleCloudPlatformにてCloudSQLというPaaSを利用した際にクライアントとなる仮想マシンからSSL通信にて…
はじめに CUIベースのテキストエディタにviがあります。特にUNIX系のマシン操作は基本的にリモートから行うため、XWindowsシステムを使わない場合はviやemacsやnanoを利用します。 で、私は主にviを利用します。単に慣れているからですが、マシンに入っていないことがほぼないのも魅力の一つです。ちなみにvimtutorコマンドでvimのハンズオンが行えます。もしマシンに入っていればこちらで練習するのも手と思います。 $ which vimtutor /usr/bin/vimtutor 重要度★★★ これさえ使えればやりたいことはなんとかなります。前提としてviにはモードという概念が…
はじめに タイトルの通りですが「UNIX版」のHulftのキーを発行する流れをメモしましたのでイメージを掴む際の参考にしてください。 尚、念のため最新版のフローは異なっている場合があるので不明点あれば公式サイトを確認ください。 Hulftのプロダクトキー発行手順 まずは事前準備として以下が必要です。認証IDとSPコードに関しては製品購入後に案内メールが届きます。 プロダクトキー発行に必要なもの myHULFTのアカウント 認証ID SPコード Hulftをインストールするサーバのホスト名 myHulftで製品登録を行う myHulftにログイン後、「ライセンス登録/認証ID入力」タブを開きます…
^M: bad interpreter: No such file or directoryとエラーになる
事象 Windows機から転送したスクリプトをLinux機で実行した際に $ ./test.sh bash: ./test.sh: /bin/bash^M: bad interpreter: No such file or directory とエラーとなる。 コマンド実行環境 Debian GNU/Linux 9 (stretch) 原因と対策 該当スクリプトは一行目に以下のように記載、末尾に改行が入っている。 #!/bin/bash⏎原因は改行コードを正しく認識できていない。スクリプトをfileコマンドで確認すると $ file test.sh test.sh: Bourne-Again …
やりたいこと 文字列があった時に検索ワードを指定して切り出したい。具体的な例として以下の文字列があった際に abcdefghijklmn検索ワード「e」にて前半部分 abcd後半部分 fghijklmnを出力させる。 ワンライナー 検索文字列の前半を切り出す awk '{print substr($0,0,index($0,"検索文字列"))}' $ echo abcdefghijklmn awk '{print substr($0,0,index($0,"e"))}' abcd 検索文字列の後半を切り出す awk '{print substr($0,index($0,"検索文字列")+l…
ネタ アポロとは明治が製造販売しているチョコレート、 上がピンクで下が茶色の美味しいお菓子です。 三角形の特徴的な形は、1969年に月面着陸した宇宙船アポロ11号がモチーフになっています。本記事ではアポロをR言語で立体描画した際の流れを記載しました。応用が利く内容ではないですが、話のネタにやっただけで、技術的は話は過去記事の寄せ集めです。 アポロチョコの立体データを取得する アポロチョコレートは帰還船の形をモチーフにしています。 これらの3次元データは公表されていないので、似た形である富士山のデータを利用します。美しい円錐状の富士山ですが、国土地理院が山岳の3Dデータを公開してくれています。 …
タイトルを実現するマクロ 下記の2行を記載してttl形式で保存し、ttermpro.exeで開くように設定すれば該当ファイルのダブルクリックで接続できます。 connect 'X.X.X.X:22 /ssh /2 /auth=publickey /user=XX /keyfile=C:\Users\XXX\sshkey.rsa' end バージョン Teraterm 4.89 以下、補足です。 補足 頭にconnectと記載し、その後に設定項目を入れていきます。 前段の以下の部分ですが X.X.X.X:22 /ssh /2X.X.X.X に 接続先サーバのIPアドレスを入力します。 その後、S…
はじめに 日本語URLを変換する手順は以下記事で説明しました。 ところが上記は文字コードがUTFという前提にたっていました。「Hatena Keyword」のURLにて変換を実施した際にEUC-JPでエンコードされていることが原因でうまく動かなかったので別途本記事を執筆します。 WmQで変換できない 以下はハテナキーワードです。 話題のキーワードをみんなで解説する無料のWeb百科事典、とのことです。例えば「はてなブログ」で引いてみると http://d.hatena.ne.jp/keyword/%A4%CF%A4%C6%A4%CA%A5%D6%A5%ED%A5%B0上記URLで検索結果が表示さ…
はじめに GoogleCloudPlatform、通称GCPは仮想マシンを物理的に配置する場所を選択でき、その場所はリージョンおよびゾーンとして管理されます。そんなゾーンですがCloudShell環境を使えばCUIベースでサクッと情報確認ができます。 今回はそのあたりの解説と実際のコマンド結果を記載しました。 cloudshellを起動する GCPにログイン後、VMインスタンスの画面の上部に コンソールのようなアイコンがあります。ここからcloudshellを起動できます。ログインすると以下のようなメッセージと共に画面が起動します。 Available commands for gcloud …
【SikuliX】org.sikuli.script.FindFailedをtry~excpetで回避する
はじめに SikuliXにてfind等を行う際に、対象が確認できない場合に org.sikuli.script.FindFailed: FindFailedというエラーで止まってしまう現象があります。それに対してexistを利用して事前に条件分岐を行って対処する方法は別記事にて解説しました。 一方、tryとexceptで例外処理としてかわす手法もあります。本記事ではそれらの利用法と、利用における注意点について解説します。 バージョン java version "1.8.0_201" Sikulix IDE 1.1.3 try文で囲って例外を扱う 上にも記載した通りexistを利用した条件分岐で…
【TOHO】ログイン中にも関わらず「ERR1829」または「ERR1813」が出る
事象 TOHO CINEMAS アプリを利用してチケットを購入しようとする際、シネマイレージアカウントで「ログイン中」と表示されているにも関わらず ・ログインIDを入力してくださ下さい。（ERR-1813）または ・パスワードは半角英数6～20文字で入力してください。（ERR-1828）と出る。 原因 シネマイレージ会員の有効期限が切れている。 原因の解決策 アプリの「その他」から「シネマイレージⓇ会員メニュー」を選択し、有効期限を確認。 超過している場合は再ログイン後に年会費を支払う。 所感 画面に 今から15分以内に購入が完了しない場合、自動的に座席は解除されます と警告が出るので焦るんで…
やりたいこと 以下のDebian機に $ cat /etc/os-release PRETTY_NAME="Debian GNU/Linux 9 (stretch)"dig*1コマンドをインストールしたい $ dig www.mtioutput.com bash: dig: command not found インストールの流れ 以下にもあるように、Debian系のOSではaptを使ってパッケージ管理を行います。 いきなりdigコマンドをインストールしようとすると該当パッケージがないと返されます。 $ apt-get install dig Reading package lists... D…
アクセス元にあるgoogleads.g.doubleclick.netとは？
事象 はてなブログのアクセス解析に「googleads.g.doubleclick.net」が表示される。 結論 GoogleAdSenseの関連コンテンツユニットから別記事が表示されて回遊されている。以下、補足です。 補足 Googleアドセンスには関連コンテンツユニットがあり、こちらで記事内容等を含めて関連記事が表示されます。 コードで言うところの下記です。 <script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> ... この.jsファイルの中身を見るべくアクセ…
はじめに 以下記事にて二次元配列をpersp関数で可視化する流れを記載しました。 一方で違う見せ方としてscatterplot3d関数で可視化することも可能です。 本記事ではperspに関する記事で利用したアメリカの航空会社から提供されている1949年から12年間の国際線旅客数の月毎の合計AirPassengersを利用して点群として可視化します。 scatterplot3d用にデータを3次元に変換する matrixを用いてデータを一列に格納します。 > matrix(AirPassengers) [,1] [1,] 112 [2,] 118 [3,] 132 [4,] 129 [5,] 12…
はじめに プロンプトをカスタマイズするStarshipというツールが流行っていたのでとりあえずインストールしてみました。その際のログです。 環境情報 Debian GNU/Linux 9 (stretch) サーバに配置する メディアは以下のリンクに配置されています。 記事執筆時では starship-v0.16.0-x86_64-unknown-linux-gnu.tar.gz というファイルでした。こちらを適当にtarコマンドで解凍します。tmpディレクトリにtestディレクトリを作成し、そこを吐き出し先にしました。 $ tar -C /tmp/test -xzf starship-v0.…
【R言語】scatterplot3dのangleと出力結果の関係
はじめに R言語ではscatterplot3dという関数を利用して3次元データの描画が行えます。実際に描画した例は以下です。 ここで3次元データの特徴ですが、同じデータでも見る角度を変えれば印象が変わります。scatterplot3dでもオプションによってアングルが変更可能です。本記事ではscatterplot3dのオプションであるangleを変化させた場合に出力画像がどのように変化するのかについてアニメーションを利用して確認しました。 angleを変更しながら描画する scatterplotのオプションは以下です。angleのデフォルトは「40」です。 function (x, y = NU…
【R言語】scatterplot3dで点群に色をつけて可視化する
はじめに R言語ではscatterplot3dという関数を利用して3次元の描画が行えます。本記事では三次元データを利用した三次散布図を作成する手順を分かりやすく解説しました。 scatterplot3dで3次元データ可視化 インストールは install.packages("scatterplot3d") で行います。 irisデータを3次元プロットする irisデータは以下の構造を持つ150のデータ群です。 Sepal.Length: 数値型 Sepal.Width : 数値型 Petal.Length: 数値型 Petal.Width : 数値型 Species : カテゴリ型 中身は以下…
【TCP/IP】ACKが受信に成功したセグメント番号までを返す理由
はじめに TCPの世界ではコネクション型でデータを伝送しますが、逐次ACKの確認を待っていると通信のスループットが落ちてしまいます。よって「スライディングウィンドウ」という考え方で応答前にデータを連続して送付します。この仕組みにおいて、一部伝送に失敗した場合は再送制御が必要です。その際のポイントとして「受信側は最後に受信に成功したデータのACKを返す」というものがあるのですが、本記事では「なぜ一連のデータとして受信成功したものを返すのだろう？」という素朴な疑問を持たれた方向けの解説記事です。 再送制御技術 正常ケース まずは正常に通信ができているケースを見ます。 送信側が1,2,3,4を連続し…
【Windows】DVDトレーをnircmdコマンドで開閉する
はじめに Windows端末にてDVDドライブをejectコマンドライクに引き出すことができないか調べていた際に、NirCmdというフリーソフトを発見しました。 本記事ではそれらをインストールし、実際に動作させた際のメモです。 環境情報 OS名 Microsoft Windows10 Home システムの種類 x86-ベースPC コマンドでドライブ用のトレイを動作させたい GUIベースではトレイのオープンは簡単で、エクスプローラから該当のドライブを右クリックし、「取り出し」を左クリックすれば独特の機械音のあとに開きます。 この動作、それこそトレイが開くと接触する部分に何かを置けば遠隔で物理的な…
最近はWindowsでもbashが使えたりするので、はてなブロガーの人は参考にしてください。 前提 はてな記法では表と記載すれば A B C 1 2 3 以下のように表示されます。 A B C 1 2 3 コマンド実行環境 $ cat /etc/os-release PRETTY_NAME="Debian GNU/Linux 9 (stretch)" Excelの表をコピーしてテキストエディタに貼り付け Excelの表をコピーすればタブ区切りでコピーされるのでそれをメモ帳等に張り付けを行います。 0 0.2 0 1 0.16 0.16 2 0.128 0.256 3 0.1024 0.3…
はじめに Excelではセルに日付データを入力して1日足す演算を行い、ドラッグ＆ドロップを行えばカレンダーに沿って日付が表示されます。そして表示形式を変更すれば自由な形式で取り出せます。今回は同じような処理として、UNIX系OSにて一連の日付を「yyyymmdd」形式で出力するワンライナーを記載しました。 コマンド実行状況 $ cat /etc/os-release PRETTY_NAME="Debian GNU/Linux 9 (stretch)"$ date --version date (GNU coreutils) 8.26 seqとsedとdateと私 2018年12月30日から5日…
はじめに 基本情報技術者試験の冊子を眺めると待ち行列理論（M/M/1モデル）として窓口利用率を用いて以下の公式で待ち行列に並んでいる人数を算出するよう述べています。本公式は別記事にて導出を行いました。 この記事の結論としては 窓口に既に人並んでいる確率がなので 並んでいる人の数の期待値がとなり、 無限級数の公式であるを利用して を導出しています。本記事ではそれぞれの確率の計算を実際に行い、どのように値が収束しているのかを確認します。 値を代入していく サンプルの値として今回は平均到着率を4、平均サービス量を5とします。 イメージとしては窓口に来る人の時間間隔が平均5分で、手続きにかかる時間の平…
はじめに 基本情報技術者試験の冊子を眺めると待ち行列理論（M/M/1モデル）として窓口利用率を用いて以下の公式で待ち行列に並んでいる人数を算出するよう述べています。ここででは平均到着率では平均サービス量です。*1この式の導出、真面目に取り組むとかなり難しいのですが、せっかくなので「公式導出について理解した気になる」をゴールにして分かりやすく説明してみました。 とはいっても数式はかなり出てくるので心が折れれば離脱してください。所要時間目安：10分以下は道中で利用する公式や前提です。 無限級数の公式 上記公式はrの絶対値が1未満の時に成り立ちます。理系の方は高校数学で見たはずです。 微分方程式 か…
「ブログリーダー」を活用して、社外SEくんさんをフォローしませんか？
はじめに Keycloak（RedHat Build of Keycloak）ではkc.sh（kc.bat）でレルムの情報をエクスポート及びインポートが行えます。 本記事ではレルムをエクスポートした情報を取り込み直すことで、ユーザ情報がパスワード含めて移行できることを確認しました。 はじめに 環境情報 事前準備 レルム情報の出力 レルム情報の取り込み 終わりに 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.12 事前準備 管理コンソールから「test」というレルムを新規作成し、同レルムにtestuserというユーザの作成を行います。testuserには…
事象 Amazon Linuxにてyum updateを行うと以下のように403のエラーとなる。 # yum update Amazon Linux 2023 repository 1.2 kB/s 275 B 00:00 Errors during downloading metadata for repository 'amazonlinux': - Status code: 403 for https://al2023-repos-ap-northeast-1-de612dc2.s3.dualstack.ap-northeast-1.amazonaws.com/core/mirror…
やりたいこと AWSのCloudWatchLogsのロググループを指定し、S3にログ情報を退避する。 環境情報 aws-cli/2.15.5 やり方 以下のようにロググループとS3のバケットを指定し、ログの範囲をUNIX時間で与える。 $ aws logs create-export-task --task-name "test" --log-group-name "/aws/test/" --from 1746834146000 --to 1747698146000 --destination "s3-test" --destination-prefix "hoge"すると標準出力にエクスポ…
やりたいこと Keycloak（RedHat Build of Keycloak）で新しいバージョン起動時に行われるデータベースへの変更を事前に確認する。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-26.0.11 やり方 kc.shにてデータベース移行に使用するオプションであるspi-connections-jpa-quarkus-migration-strategyを利用し、データベースの手動移行を意味するmanualを付与して実行する。 $ ./bin/kc.sh start --spi-connections-jpa-quarkus-migration…
やりたいこと 正常停止を含めたサービスの停止時にスナップショットを出力する。 環境情報 P-9W43-9Q11 : uCAR with Java for Spring Boot Red Hat Enterprise Linux 9.5 (Plow) やり方 設定ファイルである~/ucars/conf/config.propertiesに以下を追加する。 snapshot.log.filepath=/tmp/snapshot snapshot.onshutdownrequest.collect.condition=ALWAYS同設定を追加後、SIGTERMによってサービスを停止させるとzipファ…
やりたいこと Fluent Bitの設定ファイル（fluetnt.conf）に環境変数を指定し、環境変数経由で値を指定する。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 やり方 環境変数MYSERVICEを利用したい場合、以下のようにconfファイルに記載を行う。 [OUTPUT] ... log_group_template /test/${MYSERVICE} ...以下、補足です。 補足 環境変数として以下のように値を定義しておくと export MYSERVICE=hogeFluentBitの起動ログを見ると、環境変数に…
やりたいこと CloudFrontのオリジンとしてS3のホスティングを利用している際、S3のファイル格納後にエッジキャッシュをクリアしたい。 環境情報 aws-cli/2.15.5 やり方 CloudFrontにて該当のDistribution IDを特定し、以下のコマンドを実行する。 $ aws cloudfront create-invalidation --distribution-id xx --paths "/*"その結果として標準出力に以下のような結果が表示される。 { "Location": "https://cloudfront.amazonaws.com/2020-05-31…
はじめに EC2からS3を利用しようとaws s3 lsを打つも、反応がなかった際の調査ログを記載します。尚、EC2はプライベートサブネットに存在し、インターネットへの経路はなくS3のVPCエンドポイントは作成済みとします。 環境情報 aws-cli/2.15.5 調査の流れ 同事象が起きた場合、一番怪しいのはS3のVPCエンドポイントがEC2のルートテーブルに紐づいていない状態となっています。リージョンを指定してS3のエンドポイントを指定して出力すると $ aws ec2 describe-vpc-endpoints --filters "Name=service-name,Values=c…
やりたいこと Linuxサーバの負荷状況を見るため、性能試験としてCPU等のリソースを取得してグラフを作成する。 環境情報 Red Hat Enterprise Linux 9.3 sysstat version 12.5.4 やり方 以下のように間隔（秒）と回数、出力先を指定すると # /usr/bin/sar -A -o /tmp/sar 5 1000パフォーマンスファイルが作成される。 # file /tmp/sar /tmp/sar: data可視化をするためにsadfにて画像ファイルを出力させたものをブラウザで表示すると # sadf -T -g -- -A /tmp/sar > t…
はじめに ECSのタスク定義に修正を加える場合、AWSの管理コンソールにて”新しいリビジョンの作成（Create new revision/Create new revision with JSON）から行います。一方でコンテナイメージのタグのみを変更する等、軽微かつ機械的な置換で行えるものはCUIから操作したい場合もあると思います。というわけで、今回は自動化を想定してAWSCLIにてタスク定義に微修正を加え、新たなバージョンで作成する流れを検証しました。 はじめに 環境情報 更新する前のタスク定義を取得する タスク定義に修正内容を反映させる 新たなリビジョンのタスク定義を作成する 終わりに …
はじめに ECSで稼働するコンテナは、awslogsというログドライバーを有効化することで標準出力がCloud Watch Logsに連携されます。 簡易的な使い方であればこれでいいものの、より細かい用件でログルーティングを行う場合は不十分であり、代わりにFirelensコンテナを利用した構成を取る必要があります。本記事ではコンテナ内のディレクトリを指定し、そのディレクトリ配下のログをファイル毎にログストリームを分けて出力する方法について解説します。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 Fluent Bit v1.9.10 実装の流れ FirelensとはO…
はじめに ECSのサービスにてTaskを1つだけ稼働させ、そのTaskを異常終了させた際にどの程度の時間でECSが別のTaskを復旧させるのかを実機を用いて検証を行いました。尚、構成としてはALBを経由してECSのサービス（Apacheをコンテナとして起動）に割り振りを行う構成で、ALB経由で通信を断続的に行うことで業務通信を想定して応答結果を整理しています。構成概要 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 障害の再現と計測対象 ECSのタスクの中に入り、EntryPointで指定したコマンドをkillします。 $ aws ecs execute-command…
はじめに Keycloak（RedHat Build of Keycloak）はJavaアプリケーションとして動作するため、メモリ不足で落ちる際の挙動はJava実行の引数で渡すことができます。本記事では実際にメモリ不足（Out Of Memory）を起こし、その際にヒープダンプを出力する挙動の確認を行いました。 環境情報 Red Hat Enterprise Linux 9.3 rhbk-24.0.5 内容確認 Keycloakを起動するkc.shでは以下の箇所でメモリー関連の値を設定しています。 if [ -z "$JAVA_OPTS_KC_HEAP" ]; then JAVA_OPTS_K…
はじめに RAG構成のAmazon Bedrockを利用している際に不審なアクセスがないかどうかを確認したいケースがあります。そのような際にAWSのCloudTrialが利用できるため、実際にログの確認を行いました。 執筆時期 2025/02 CloudTrialの設定 まず初めに、CloudTrial側でBedrock関連の操作を拾えるようにします。 そもそもCloudTrialでは「Management events」と「Data Events」があり、後者は明示的に有効化をしないと出力されません。BedrockのログはData Eventsに相当します。手順としては、AWS管理コンソール…
はじめに ECSのサービスがApplication Load Balancerの後段にある場合、ECSがコンテナを停止（SIGTERMの送信）する前に、ターゲット グループからタスクを解除する挙動をします。具体的には以下のフローとのこと。Graceful shutdowns with ECS より抜粋本記事では、この挙動をタスクの再起動時に以下を計測することで確認しました。 ターゲットグループに登録されているターゲットと状態 ECSタスクで起動しているタスク数 ECSタスクのログ 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 以下の構成を準備し、Task数は…
やりたいこと Apacheが受けた通信は別サーバにプロキシを行うが、特定のパスの通信に関してはプロキシをせずに自サーバのリソースで応答したい。例として/healthというリクエストに関しては/var/www/html/health.htmlを表示させる。特定のパスはAapche内のリソースで応答したい 環境情報 Apache/2.4.37 (Red Hat Enterprise Linux) やり方 /var/www/html/health/health.htmlを準備した上で、以下のhttpd-proxy.confを/etc/httpd/conf.d/に配置をし、サービスを起動する。 Pro…
はじめに ECSではタスク定義を指定した上で「Run Task」を行うことでコンテナをバッチのようにして起動ができます。また、起動したコンテナの実行結果は、ステータスとして完了したかだけではなくシェル終了時の終了コード（Exit Code）としても取得が可能です。本記事では実際にタスクとしてスクリプトを異常終了させ、その終了コードをコマンドから取得する流れを記載しました。 環境情報 ECS Fargate 1.4 aws-cli/2.15.5 事前準備 下記のように終了コードを5で返すスクリプトを作成した上で #!/bin/bash sleep 10 exit 5コンテナイメージを作成します。…
やりたいこと Dockerfileの修正によってコンテナのログを標準出力に出すことでdocker logsで拾えるようにしたい。 例としてAapacheのコンテナを扱う。 環境情報 Amazon Linux 2 Docker 20.10.23 やり方 Dockerfileの中で以下のようにログと標準出力をリンクさせる。 RUN ln -sf /dev/stdout /var/log/httpd/access_log例えば以下のようなDockerfileでイメージをビルドしてコンテナを起動すると FROM registry.access.redhat.com/ubi8/ubi RUN yum -…
やりたいこと awscliを利用してメールを送付する。 環境情報 $ aws --version aws-cli/2.15.23 Python/3.11.6 ... やり方 トピックを作成し、そのトピックに紐づくサブスクリプションを宛先メールアドレスと共に設定。作成したトピックのARNを引数に以下のように指定をしてコマンドを押下すると $ aws sns publish --topic-arn "arn:aws:sns:ap-northeast-1:xx:xx" --message "Test"メッセージが送付される。 { "MessageId": "xx" }届いた電子メールは以下。 Fro…
やりたいこと awscliを利用し、特定のIPアドレスからの通信を拒否する。尚、通信はサブネットをまたぐ通信とする。 環境情報 $ python3 --version Python 3.8.16 やり方 サブネットに紐づくNetwork ACLのIDを利用し、以下のように設定を行う。（インバウンドであれば--ingress） $ aws ec2 replace-network-acl-entry --egress --network-acl-id xx --rule-number 10 --protocol -1 --rule-action deny --cidr-block 10.xx.xx…
はじめに テキストで与えた入力情報を元に、AWSの生成AIであるBedrockに画面遷移図を作成させる検証を行いました。尚、できるだけ自動化を行うために画像出力部分はマーメイド記法のテキストを元に画像化するmmdcコマンドを利用しています。尚、全体の流れは プロンプトを記載した入力ファイルの準備 入力ファイルを元にBedrockへ質問/回答取得 回答結果を元に画像を出力 となります。 環境情報 Amazon Linux 2 mmdc 10.6 Python 3.7.16 Claude-v2 入力情報の準備 テキストファイルにて以下のような文章を用意しました。図に使う文字を英語にしている理由は、…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザを作成した際にその応答結果から新規作成されたユーザのユーザーID（id）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 curl 7.76.1 (x86_64-redhat-linux-gnu) やり方 ユーザー作成時のcurlにて-Dオプションを利用してファイルに出力をさせると $ curl -D location.txt --request POST 'http://localhost:80…
はじめに Keycloak（RedHat Build of Keycloak）は開発モードで起動を行うと、特に設定をせずともH2という同梱されているデータベース上に情報が補完されます。本記事ではそれらのデータを新しいバージョンに持っていくために実際にデータをコピーし、起動させた際の備忘録を残しておきます。 環境情報 Red Hat Enterprise Linux VERSION="9.3 rhbk-22.0.8 rhbk-24.0.5 事前準備 新バージョンのZipを配置し、解凍します。 # ls rhbk-24.0.5 bin conf lib LICENSE.txt providers …
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリソースタイプと紐づくリソースベースドパーミッションを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと curl -X POST http://localhost:8080/admin/realms/master/clients/<client-id>/authz/resourc…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyを新規作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及びAggregate Policyに組み合わせるポリシーのIDを控えた上で以下のようにPOSTを行うと $ curl -X POST 'http://localhost:8080/admin/realms/master/clients/<client-id>/aut…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でAggregate Policyに関する情報を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及び該当のクライアントのID及び該当のAggregate PolicyのIDを控えた上で以下のようにGETを行うと $ curl --location --request GET 'http://localhost:8080/admin/realms/master/clients/<cl…
はじめに Red Hat build of Keycloak（Keycloakの商用版）ではユーザにグループという属性があります。 属性とは違ってサブグループ/親グループという階層構造となっているのが特徴で、ユーザへのロールマッピングにて利用されます。そんなグループですが、本記事はAdminAPIを利用して既存のグループに関して参照/変更を行う方法とその結果を記載します。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 はじめに 環境情報 参照系 グループの一覧 ユーザのグループ表示 追加系 削除系 終わりに 参照系 グループの一覧…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でクライアントリソース（client resource）を作成する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークン及びリソースを作成したいクライアントのIDを用意した上で以下のようにPOSTを行う。 $ curl --location --request POST 'http://localhost:8080/admin/realms/master/clients/XX/authz/res…
はじめに 既にNode.jsのVer16が入っているRHEL環境にて、Node.jsをVer18にあげました。せっかくなので、その際の手順と出力結果をメモしておきます。 # npm -v 8.19.4 # node -v v16.20.2 環境情報 Red Hat Enterprise Linux 9.3 背景 特に何も考えずにyumコマンドでnpmをインストールすると # yum install npm ... ... Installed: nodejs-1:16.20.2-4.el9_3.x86_64 nodejs-docs-1:16.20.2-4.el9_3.noarch nodejs-…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にて任意のユーザのアカウントロック（アカウントの無効化）を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 ユーザのIDをURIに付与した状態でenabledをtrueからfalseに変更する。 $ curl --location --request PUT 'http://localhost:8080/admin/realms/master/users/'"$id"'' --header 'Content-Type: ap…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてユーザ名をキーにグループ名を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 以下のようにユーザ情報を出力した上で ./kc.sh export --dir Test --users different_filesユーザ情報が格納されたmasterファイルからユーザ名（test01）を条件にグループ情報を出力する。 $ cat master-users-0.json jq -r '.users[] select(…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でリスト表示するユーザを絞る。 具体的には属性hogeの値がfugaのユーザのみの出力を行う。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin …
やりたいこと PowerShellからKeycloak（RedHat Build of Keycloak）のアクセストークンを発行する。尚、adminユーザを利用したパスワード方式での実行を想定する。 環境情報 rhbk-22.0.8 PowerShell 7.3.11 やり方 ボディデータをハッシュテーブルで定義した上でInvoke-RestMethodでPOSTリクエスト送信する。具体的てには以下スクリプトを実行することで取得が行えた。 $client_id = "admin-cli" $client_secret = "admin" $token_endpoint = "http://x…
やりたいこと Linux機でPowerShellのスクリプトファイル（.ps1）を実行する。 環境情報 Amazon Linux 2 PowerShell 7.3.11 やり方 マイクロソフトのリポジトリ情報を追加した上で $ curl https://packages.microsoft.com/config/rhel/7/prod.repo sudo tee /etc/yum.repos.d/microsoft.repoインストールを行うと $ yum -y install powershell以下にPowerShell用のコマンドが配置される。 $ which pwsh /usr/b…
はじめに Keycloak（RedHat Build of Keycloak）ではログインに成功すると内部的にはセッションが生成され、サーバ側で認証されたユーザを管理しています。また、その情報に相対する情報がブラウザ側にもクッキーとして保管されます。本記事ではサーバ側及びブラウザ側それぞれで、ログイン前/ログイン後に発行されるセッションに関する値を確認してみました。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 GoogleChrome 122.0.6261.69 ログイン前の状態 今回はテスト用ユーザにて管理用コンソールへのログ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でログイン済みのユーザセッション数の合計を取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: app…
事象 InstanceProfileとしてIAMロールを設定していたEC2に対して「Modify IAM role」を実行すると Failed to replace instance profile The association iip-assoc-xx is not the active association というエラーとなる。 環境情報 $ aws --version aws-cli/2.15.5 Python/3.11.6 Linux/4.14.336-257.562.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off 原因/解決策 インスタスプロフ…
やりたいこと リクエストの中で指定されるURLの中に指定した文字列が入っていた場合にエラー処理を行う。 例としてAmazon Linuxにて検証を行い、"a"という文字列が入っていた場合に応答コード400でエラーとする。 環境情報 # nginx -v nginx version: nginx/1.25.1 (nginx-plus-r30-p1) やり方 mapディレクティブにて特定のリクエストとして"a"が含まれる場合の設定を行い http { ... map $request_uri $invalid_uri { default 0; "~*a" 1; } ... その条件の場合のエラーコ…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ情報を一気に取得する。尚、デフォルトでは100ユーザを上限として出力される。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'c…
やりたいこと Red Hat build of Keycloak（Keycloakの商用版）にてAdmin API経由でユーザ名（username）からidを取得する。 環境情報 Red Hat Enterprise Linux : 9.3 (Plow) rhbk-22.0.8 やり方 アクセストークンの取得を行い $ AT=`curl --insecure -X POST http://localhost:8080/realms/master/protocol/openid-connect/token --user admin-cli:admin -H 'content-type: appl…
