マルチパートアップロードとは aws s3のマルチパートアップロードとは、1つのオブジェクトを複数のパートに分けてS3バケットにアップロードできる機能 マルチパートアップロードは、5MB~5TBのサイズまで対応可能 オブジェクトのパートが全てアップロード完了したら、パートには番号が付与されているので、それを元に組み立てて1つのオブジェクトを作成する AWSでは、100MBを超えるオブジェクトはマルチパートアップロードを使うことを推奨している メリットとして挙げられているのは以下の通り： パートを並列にアップロードできるので、スループットが向上する（帯域幅を最大限活用できる） ネットワークエラー…

RubyKaigi2025@愛媛に参加してきました！RubyKaigiは自分がRubyistになった翌年から参加しており、今回で3回目です。少しずつ分かることや知り合いも増えてきて、RubyKaigiでの再開を約束していたりするので、年々楽しみ度が高まっている気がします。 また、松山市は私が3歳になる頃まで住んでいた、ゆかりのある場所だったので、久しぶりに訪れることができるのも楽しみでした。 印象に残ったセッション 他にもたくさんセッションを聞いてどれも興味深かったのですが、ブログ書き終わらなさそうなので割愛します;; Day1. Ruby Taught Me About Encoding U…

Railsアプリケーションでアプリケーションの規模を調べる時、rails statsコマンドがよく使われます。 デフォルトのrails statsコマンドだとデフォルトとして設定されているディレクトリのみしかメソッド数やコード数を計算してくれません。 例えば、Rails Engineを本体のアプリケーションにマウントしている場合、Rails Engineのコードはrails statsコマンドの対象外になります。 このように、Rails側でデフォルトで定義されていないディレクトリも統計情報に含めたい場合、どのように拡張すればいいのか調べたので、備忘録的にまとめておきます。 基本のrails s…

Elasticsearchを使って日本語の全文検索機能を実装することはよくあるケースですね。 大量のドキュメントをインデックスに登録し運用していると、想定したドキュメントがヒットしない、関連性が低いドキュメントのスコアが高くなっている等、意図していない挙動になっている場合があると思います。 その時にデバッグする時に便利なAPIや使い方をまとめてみます。 Analyze API 実際に検索クエリがどのようにトークン分割されているか確認したい場合に使います。 アナライザを指定することで、アナライザごとにどのようにトークン分割されているか比較することが可能です。 www.elastic.co sta…

今回はGoogleのCloud Vision APIを使って画像からテキストを検出し、そのテキストとOpenAIのFunction Callingを用いて構造化データを抽出していきたいと思います。 Cloud Vision API Googleが提供している画像を分析し情報を抽出できるサービスです。OCRによって画像からテキストを検出したり、ランドマークやロゴなども検出することが可能となっています。 cloud.google.com テキスト検出の場合、最初の1000ユニット（画像）までは無料で使えます。 cloud.google.com OpenAI Function Calling Ope…

1024bytesを超える環境変数は値が切り捨てられる /etc/environmentに環境変数を設定する場合、値に入れる文字数が多いと正しく読み込まれないことがあります。具体的にいうと1024bytesを超える値を設定しようとすると切り捨てられ、ログファイルには以下のようなエラーが吐かれるようになります。 $ sudo tail -f /var/log/secure grep pam_ Jan 17 07:23:04 ip-xxx sudo: pam_unix(sudo:session): session opened for user root by (uid=0) Jan 17 0…

何をしようとしたか Lambda上で動画や画像のメタデータ取得するためにExifToolのRubyラッパーツールを導入しました。 しかし、ExifToolをLambda上で実行するには一筋縄ではいかなかったので、その解決方法をまとめてみます。 環境 AWS Lambda Ruby3.2 serverless framework ExifToolをRubyで扱うために以下のgemを使用しました。 github.com 発生した問題：Exiftoolの実行ファイルが存在しないと怒られる READMEを参考にGemfile内にexiftool_vendoredを追加した後、 gem 'exiftoo…

何かしらのイベントのデータ分析をする際に、特定イベントのデイリーのユニークユーザー数を出すだけでなく、その日から過去1週間のユニークユーザー数を出したい場合があるかと思います。 例えば、2023-04-16のユニークユーザー数と2023-04-16から過去1週間のユニークユーザー数（2023-04-09~2023-04-16）を出したいという場合などです。 このようなケースで、どのようにクエリを書けば求めたい数値が出せるか悩んだので、備忘録的に残しておきます。 環境 ツール：Redash データソース：Snowflake データ構造 シンプルに以下のようなデータ構造であった場合を想定します。 …

背景 Rspecでテストを行う際にテストデータが大量に必要だったので、create_listを使ってデータ作成していましたが、create_listを使うよりbuild_listしたものをbulk_importした方が高速化できると教えてもらいました。 bulk_importはActiverecord-Importというライブラリを入れるとバルクインサートができるようになるものです。 github.com そこで、実際にどの程度高速化するのか気になったので、create_listを使う場合とbuild_listとbulk_importを使う場合で速度検証してみました。 検証内容 作成するデータ…

前提 Railsでcreated_atを含む文字列をJSONに変換したものを受け取った後、そのJSON文字列からcreated_atを取り出し、DBにデータを取りに行くような実装がされていたとします。 その際、想定通りのデータがDBから取得できずに困ったので、その調査＆原因をまとめます。 # articleテーブルから1レコードを取得する article = Article.last Article Load (6.0ms) SELECT "articles".* FROM "articles" ORDER BY "articles"."id" DESC LIMIT $1 [["LIMIT",…

基本的なElasticsearchのコマンドは、たくさんまとまった記事があると思うので特に困らないと思いますが、プラスαとしてElasticsearchクラスタを運用していく上で知っていると便利かもと感じたコマンドや使い方を備忘録としてまとめてみました。 定期的に追加していくかもしれないです。 表示するカラムを絞り込む 例えば、クラスタに所属するノードの情報を表示させたい場合、cat nodes APIを利用しますが、デフォルトだとレスポンスは以下のようになります。 $ curl -X GET "localhost:9200/_cat/nodes?v" ip heap.percent ram.…

create_listは、複数のインスタンスを作成するときに便利なメソッドですが、作成されるインスタンスのテストデータは同じになってしまいます。 create_list(:article, 3, title: 'test', description: 'test') createメソッドで愚直に1つずつインスタンスを作成すれば、以下のように渡す引数をインスタンスごとに変えることはできますが、 create(:article, title: 'test1', description: 'test') create(:article, title: 'test2', description: 't…

1つ目 あるテーブルに新しくカラムを追加し、既存のカラムデータを新規カラムにコピーする ModelName.update_all(new_column = old_column) 2つ目 テーブルサイズが大きい場合、レコードを分割して処理を実行することも可能 ModelName.in_batches(of: 10000) do model_name model_name.update_all(new_column = old_column) sleep 1 end railsdoc.com 3つ目 既存の複数カラムデータをconcatして新規カラムにコピーする ModelName.upd…

何が起きたのか PostgreSQLが立ち上がらなくなってしまったので、再度インストールし直した後rails db:prepareを実行したところ、以下のようなエラーが発生した。 rails aborted! LoadError: dlopen(/Users/xxx/.rbenv/versions/3.1.0/lib/ruby/gems/3.1.0/gems/pg-1.3.1/lib/pg_ext.bundle, 0x0009): Library not loaded: /opt/homebrew/opt/postgresql/lib/libpq.5.dylib Referenced from…

作ったもの Google CalendarをCLIで扱えるnpmを公開しました。機能はシンプルですが、ターミナル上でGoogle Calendarのイベントを表示、登録、編集、削除することができます。 www.npmjs.com 作成動機 最近Javascriptを勉強していたこともあり、外部APIを使って何かCLIツールとして便利なものを作ってみたいと思ったからです。 他にも色々案は考えていましたが、大体二番煎じになってしまうものしか思いつかず、一番アイディアだしに苦労しました。 結構無難ではあるけど、自分の観測内ではGoogle Calendarをいい感じに扱えるnpmは存在してなさそうだ…

どんなエラー？ 遭遇したエラーは以下の通り。 タスク定義の検証に失敗したので、CodePipelineのアクションに記述されている"TaskDefinitionTemplateArtifact"のタスク定義を見直してほしいとのこと。 別のデプロイパイプラインも同じ構成となっているのに関わらず、特定のデプロイパイプラインのCodeDeployだけ失敗する状況だった。 Failed to validate the task definition. Check the task definition in the "TaskDefinitionTemplateArtifact" parameter …

これは、「フィヨルドブートキャンプ Part 2 Advent Calendar 2021」2日目の記事です。 adventar.org part1もあるので、こちらもどうぞ！ adventar.org はじめに 何かしらのプログラミング言語を使ってコマンドを実装する場合、付属するオプションを自前で解析するのは時間がかかりますよね。 Rubyではオプション解析を良い感じにやってくれるライブラリが用意されており、それがoptparseです。 スクリプトを書くときにoptparseを何回か使ったことがあるのですが、いまいち理解しきれていないと感じているので、この機会にoptparseライブラリにつ…

aws-cliを使ってEC2インスタンスに接続するの面倒くさいので、簡単に接続できるようにMakefileを書きました。 タグで特定のenvironmentの稼働中インスタンスの名前とインスタンスIDをpecoに渡して、選択したインスタンスIDをHOSTに入れてます。 ssm-ec2: echo "start session manager in ec2..." $(eval HOST = `aws ec2 describe-instances --region ap-northeast-1 --output json --filters "Name=instance-state-code,V…

やっとTerraformのアップグレードに手をつけました。 そのときにつまったときのメモを残しておきます。 リソースに存在しない属性がサポートされていない aws_codedeploy_appリソースに存在しない属性がサポートされていないというエラーが0.13にアップグレードしたときにでました。 terraform state show aws_codedeploy_app.testで属性を確認してもunique_idは存在していません。 色々と調べたところ、AWSプロバイダv3のバグっぽかったので、AWSプロバイダを3.24->3.50.0まであげることで解決しました。 Instance a…

概要 AWS WAFv2を実際に使って検証したので、その際につまずいたところや考慮したほうがいいところなどまとめます。 今回はレートベースのルールを使ってリクエストの発生元の IP アドレスが同一のものからリクエストが閾値以上になったらブロックする設定にしました。 レートベースのルールは、5分間あたり100リクエストから閾値に設定することが可能となっているので、低頻度のクローラー対策にも対応できます。 aws.amazon.com 構成 今回はWAFをCloudfrontにアタッチする想定で検証しました。 AWSリソースは、Terraformでコード管理します。 Terraform Terra…