|
https://twitter.com/nainaistar |
|---|
始めに pydantic等のPythonのライブラリはコア部分がRustで書かれていて、Pythonでも十分な処理速度が確保されている、という表現をされることがあります。 そのため、基本的にはRustで作られたライブラリに移行しようとして、テンプレートエンジンのjinja2からminijinjaに移行しようとしました。その過程で気付いたことをメモするだけの記事です。 ※ Pythonのminijinjaについては、試験的な試みでminijinja単体の機能が完全に移行されているわけではないし、処理速度も早いとかは明記されていないので、現時点で移行は勧めないです。 minijinja-py is…
始めに 正規表現には\wというメタ表現があります。私のプロジェクトではフロントのTypeScript, バックエンドにRuby, Pythonを使用しておりました。 もともとは正規表現を使用しないチェックロジックを使用していましたが、それぞれの言語で実装漏れが発生したこと、横展開の容易さを考慮して正規表現でマッチさせるようにしました。 正規表現であれば、どの言語でも同じようにバリデーションをかけてくれる、そう思っていたところ、大きな勘違いがあったのでブログにします。 環境 JavaScript ES2018 ES2024 Python 3.12 Ruby 2.7 勘違い \wはプログラミング言…
JetBrains IDEでcURLをhttpファイルにコピペすると修正してくれる
始めに 小ネタ。タイトルだけの出オチ記事。 環境 PyCharm 2024.3.1 Professional Edition 例 httpファイルに一般的なREST APIのcURLをコピー&ペーストすると次のように変換されます。 curl -X 'POST' 'http://localhost:8000/tasks' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{ "title": "クリーニングを取りに行く" }' # curl -X 'POST' # 'http://localhost:800…
DataGripで接続先をまとめたい(JetBrains製ならどれでもOK)
始めに 現在、私は複数のプロジェクトに参画していて、保守作業する際には接続先をプロジェクトごとに切り替える必要があるのですが、すべて接続先をフラットに管理していました。接続先名で無理やりprefixを付与して管理していたのですがDataGripにはフォルダのように管理できる方法があると聞いてその方法をメモします。 なお、DataGripでしか無理、と思っていたのですが他のIDEでも同様の挙動を実装できそうです。 環境 PyCharm Professtional 2024.03 DataGrip 2024.03.2 実装 Database explorerにて、右クリックするとMove to F…
始めに レコードの有効期間を表示したいときに、start_at, end_atのカラムを用いて表現していました。そして、end_atがnullの場合にアクティブなレコードとして表現しようとしていました。しかし、このやり方ではデータの管理方法に失敗するとアクティブなレコードが複数できてしまう可能性があります。 そのため、アクティブなレコードを1つだけに絞りたかったので、別の主キー + end_atでアクティブなレコードであること表現しようとしました。 しかし、その方法がうまくいかなかったので、同じ轍を踏まないようにブログに残しておきます。 環境 MySQL 8.0 PostgreSQL 17.2…
「ブログリーダー」を活用して、きり丸さんをフォローしませんか？
始めに 小ネタです。 弊社システムではGraphQLを採用していますが、存在しないmutationを指定していると勘違いしたものを残しておきます。 環境 なし。 実装 次のようなクエリがありました。 mutation createUser($input: CreateUserInput!) { createUserWithRole(input: $input) { } } 私はcreateUserというサーバのmutationエントリーポイントを実行していると判断していました。しかし、実際にはcreateUserWithRoleを実行しています。このcreateUserはクライアントがどのよう…
始めに 最近、不具合調査でAWSのCloudWatchから出力したログを分析および加工するためにDuckDBを使用しています。DuckDBは優秀で自分のやりたいように分析できるのですが、あくまでアプリケーションログをそのまま分析しているだけですので、最終的にはDBのMySQLと突合しないとわからないことが多々あります。 これがDBの値だけを取得するだけなら簡単だったのですが、IPアドレス制限で引っかかったユーザ一名、 該当IPアドレスおよびアクセス時間を出力したい要件だったため、アプリケーションログとDBの値を出力する必要がありました。もちろん、これが1行だけなら次のSQLで簡単に出力できます…
始めに FastAPIはデフォルトではJSONResponseを使用してレスポンスします。FastAPI公式ヘルプにはパフォーマンスを向上させるためにORJSONResponseの使用を提案するページがあります。 fastapi[all]にorjsonが含まれていることもあり、ORJSONResponseを使用して動作確認をしてみたのですが、個人的な使用目的としては早くならなかったのでメモとして残しておくことにします。 ※ ベンチマークの取り方がおかしい、等があったら教えていただきたいです。 Pydantic v2: 3.2411秒 (1000回のリクエスト) ORJSONResponse: …
始めに 小ネタです。 Pythonでdatetime型を扱うときに、timezone情報を与えることができます。 from datetime import datetime from zoneinfo import ZoneInfo datetime.now(tz=ZoneInfo("UTC")) 簡単にtimezoneに合わせた時刻へ変更できることはメリットではあるのですが、timezoneなし（native datetime）とあり（aware datetime）の時刻を比較すると次のエラーが発生します。 <ExceptionInfo TypeError("can't compare of…
始めに Amazon SESでメールを送った際に、サプレッションリストに登録される可能性があります。サプレッションリストとは、特定のメールアドレスに送信しないようにする仕組みです。登録されるパターンとしては、メールアドレスが存在しない場合や迷惑メールとしてフィルタリングされるBounce、スパムとして報告されるComplaintのどちらかで登録されます。 このサプレッションリストに登録されている限り、該当のお客様にメールを送ることができないのでメールが有効であることを確認したらサプレッションリストを解除する必要があります。ただし、AWS コンソール上ではサプレッションリストから解除はできるもの…
始めに 小ネタ。 CI環境を想定して環境変数でCI=TRUEと設定されていれば、AAAと設定して、ローカル環境を想定してCI環境変数が設定されていなければBBBと設定する。 可能な限りCI環境としてはCI=TRUEだけ管理して、具体的にはcompose.yml内部で閉じるような書き方をすることで管理コストを減らそうとしていました。 このようにする書き方を知ったのでブログにします。 環境 Docker Engine 27.4.1 ゴール 環境変数でCIを定義して次のように書けば、CIという環境変数を元にAAAやBBBの環境変数を分岐できます。 export CI= environment: EN…
始めに Sentryではフロントでエラーが発生したときに、エラーを調査しやすくなるようにReplay機能があります。この機能は非常に便利なのですが、エラーは発生していないがお客様環境で端末の性能不足やネットワーク性能不足等で正常動作しない場合を追跡できません。 その場合に、任意のタイミングでReplayを取得できる機能がありますので紹介します。 環境 Sentry 2025/03/08時点 @sentry/angular 8.47.0 ユースケース 端末のスペックやネットワークによる不利益を調べたい 特にサーバサイドで取得できないログが欲しいときに 実装 Replayの開始 ※ 実運用ではre…
始めに 以前、docker間通信をするときにどのドメイン名やIPを指定すればいいかを調べました。 Dockerのコンテナ間通信をする方法をまとめる - きり丸の技術日記 しかし、例えばS3の署名付きURLを発行した後、フロントから直接署名付きURLでS3にアクセスする場合にはdocker内部ネットワークで解決した名前ではなく、localhostでアクセスさせたいです。 今回の記事では、フロントからS3の操作とバックエンドからS3の操作を統一できるようにするsocatについてまとめます。socatは様々なプロトコルやネットワーク間でデータを転送するためのユーティリティツールで、この問題解決に役立…
始めに Pythonのpoetry.lockで確認した事象ですが、他のライブラリのlockファイルでも当てはまると思います。仕様上当たり前のことに気づいたのでメモします。 環境 Poetry 2.0.0 fastapi[standard] 0.115.8 httpx 0.28.1 まとめ dev dependenciesでバージョンを指定した場合、main dependenciesにも影響することがある。 やっていたこと FastAPIで非同期のテストをするために、httpxを使用していました。この時にhttpxをバージョン固定した状態でdev dependenciessに加えています。 途中…
始めに 特定の環境では再現したのですが、自宅では再現できませんでした。そのため、事象として発生したことのレポートです。 環境 ※ 再現しなかったためなし。 まとめ 基本的にはインスタンスの再更新はrefresh()で問題ないはず。しかし、問題発生したときは一度expunge()でインスタンスを切り離してから再検索する方法もあり。 発生したこと 事前にSQLAlchemyから検索してインスタンスに格納する 同一セッション内で子テーブルのインスタンスを作成する 子テーブルも含めて更新した結果をフロントに返却するために再検索する 1.で取得したインスタンスが返却された 子テーブルが含まれていないイン…
始めに 本番環境ではないのですが、検証環境でやらかしてしまったインシデントなのでブログにしてお焚き上げします。 やりたかったことは検証環境で不具合が発生していたので、ローカルで検証するために検証環境のDBをエクスポートして、ローカルで再現させることでした。しかし、そのエクスポートを実施したところ、検証環境が機能しなくなったので事象を共有します。 環境 MySQL 8.0.23 まとめ mysqldumpのオプションに--optを付与するなら、--single-transactionもつけるべき。 問題の詳細と解決策 3年ほど使用してきた信頼と実績のある次のコマンドでDBをエクスポートしていまし…
始めに Angularで作られたプロジェクトを少しでも初期表示を軽くしようとしていました。lazyloadできる余地がどこにあるのかを調べるためバンドルサイズを分析・可視化しようとしたのですが、Angular18以降では過去に使用していた分析・可視化コマンドがうまく使えなかったのでブログにします。 環境 Angular 19.0.5 実装 次のコマンドでビルドした結果をもとにバンドルサイズを可視化できます。 ng build --stats-json npx esbuild-visualizer --metadata dist/front/stats.json --open 過去の分析が使えな…
始めに 小ネタ。 以前、PythonのPytestでParametrizedTestをする記事を書きました。 PythonのPytestでParameterizedTestをする - きり丸の技術日記 調べたときに、もう少し便利できることが分かったのでメモします。 環境 Python 3.13 Pytest 8.3.4 実装 id属性 次のようにするとテストがどのような期待をもつかを人間に伝えることができます。 @pytest.mark.parametrize( "input_birth_day, expected_age", [ (pytest.param(date(2023, 11, 20…
始めに タイトルの出オチ記事です。 Angularにて、状態によってユーザーをnameで検索したり、emailで検索するinputがありました。 emailの場合は完全一致してほしいので、入力値がemail形式であることを検証し、nameの場合は検証しないようにしたいです。 今回の記事では、処理中に状態を判断してValidatorを変更しつつ、適切な検証を行えるようにします。 環境 Angular 18.0.4 実装 今回の例ではFormControlで実装します。 基本データバインディング HTML HTML側では後で定義するnameOrEmailControlとデータバインドしておきます。…
始めに 小ネタ。ライブラリを管理しているときに、いつから依存関係に含まれているか、削除されているかを調べるために使用したコマンドを残します。 ユースケース 特定の記載が入ったコミットを探す 環境 git 2.43.0 実装 次のコマンドで、uv.lockに含まれているgreenletライブラリが追加・変更・削除されたコミットを調べます。 git log -S "greenlet" -- uv.lock 終わりに 実際はI18nファイルに記載されていた行が削除されており、そのエラーを調査するために使用しました。 I18nファイルは意識的に整理しないとドンドン膨らんでいくので、定期的に棚卸していた…
始めに 先日の記事にて、FastAPIのイメージが1GBになってしまった件を書きました。何か対策できないかと調査していく中で、gzipではなく、zstdで圧縮することで高い圧縮率と高い解凍速度を達成できることを知りました。 今回の記事ではzstdでDockerイメージの圧縮をします。 環境 Docker Engine 27.4.1 Docker Buildx v0.19.3 zstd圧縮を使用するためには、次のバージョンが必要です。 Docker Engine v24.0.0以降 Docker Buildx 0.8.0以降 # バージョン確認用コマンド docker version docke…
始めに pydantic等のPythonのライブラリはコア部分がRustで書かれていて、Pythonでも十分な処理速度が確保されている、という表現をされることがあります。 そのため、基本的にはRustで作られたライブラリに移行しようとして、テンプレートエンジンのjinja2からminijinjaに移行しようとしました。その過程で気付いたことをメモするだけの記事です。 ※ Pythonのminijinjaについては、試験的な試みでminijinja単体の機能が完全に移行されているわけではないし、処理速度も早いとかは明記されていないので、現時点で移行は勧めないです。 minijinja-py is…
始めに 正規表現には\wというメタ表現があります。私のプロジェクトではフロントのTypeScript, バックエンドにRuby, Pythonを使用しておりました。 もともとは正規表現を使用しないチェックロジックを使用していましたが、それぞれの言語で実装漏れが発生したこと、横展開の容易さを考慮して正規表現でマッチさせるようにしました。 正規表現であれば、どの言語でも同じようにバリデーションをかけてくれる、そう思っていたところ、大きな勘違いがあったのでブログにします。 環境 JavaScript ES2018 ES2024 Python 3.12 Ruby 2.7 勘違い \wはプログラミング言…
始めに 小ネタ。タイトルだけの出オチ記事。 環境 PyCharm 2024.3.1 Professional Edition 例 httpファイルに一般的なREST APIのcURLをコピー&ペーストすると次のように変換されます。 curl -X 'POST' 'http://localhost:8000/tasks' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{ "title": "クリーニングを取りに行く" }' # curl -X 'POST' # 'http://localhost:800…
始めに 現在、私は複数のプロジェクトに参画していて、保守作業する際には接続先をプロジェクトごとに切り替える必要があるのですが、すべて接続先をフラットに管理していました。接続先名で無理やりprefixを付与して管理していたのですがDataGripにはフォルダのように管理できる方法があると聞いてその方法をメモします。 なお、DataGripでしか無理、と思っていたのですが他のIDEでも同様の挙動を実装できそうです。 環境 PyCharm Professtional 2024.03 DataGrip 2024.03.2 実装 Database explorerにて、右クリックするとMove to F…
GitHubでレビューを依頼されたときに、レビュー依頼が多すぎてOpen状態のPullRequestだけを確認したい時のメモ。 環境 GitHub 2024/04/20 対応 次のどちらかをフィルタに設定してください。 draft:false -is:draft ちなみに、JetBrainsのPull Requestsでも有効です。 終わりに 作業開始したらDraftでレビュー依頼を先に出すルールで仕事しているので、本当にレビューしたらよい対象をみつけるのがたいへんでした。 フィルタに-を付けたらNotの意味になることも分かったので、今後は地味に作業改善ができます。 参考情報 https://…
DockerのMinioを使用していますが、イメージが古すぎてディレクトリごとアップロードができませんでした。そのため、最新イメージにアップデートしようとしたところ、エラーメッセージが出て起動しなかったその対応を記載します。 ※ プロダクション環境でMinioを使用している場合には適用できません。 環境 Docker Minio RELEASE.2019-01-31T00-31-19Z RELEASE.2024-02-13T15-35-11Z ゴール 次のエラーメッセージが出たときに、最新イメージで起動できるようにする。 ERROR Unable to use the drive /data:…
※ 家で検証したときはできなかったのですが、会社で検証したときはできましたので、残しておきます。 WSLで起動したサーバに対してiPhoneやAndroidからアクセスすることでモバイル端末の実機確認をしたかったのですが、単純にWSLのIPにアクセスするだけでは確認できなかったので手順を残します。 環境 WSL Ubuntu 22.04.4 LTS ゴール iPhoneでWSL上に起動しているサーバにアクセスする。 詳細 管理者権限でコマンドプロンプトを起動します 管理者権限でコマンドプロンプトを起動します。私の過去記事に簡単に管理者権限でアプリケーションを起動する方法を残しているので、参考に…
Gmailでテキストメールを送信する方法はたくさん見つかったのですが、受信してテキストメールを確認する方法は見つからなかったのでブログにします。 なお、GmailではHTMLメールとテキストメールを選んで受信はできません。そのため、受信するではなく、受信してテキストメールを確認するが本題です。 環境 Gmail 20240320時点 確認方法 テキストメールを確認したいメールのソースを確認する 確認したいメールを開き、「︙」をクリックしてメッセージのソースを確認を選択します。 デコードしてテキストメールを確認する メッセージのソースからテキストメールの箇所を探します。text/plainのブロ…
testcontainers-pythonでminioを使う際に少々手間どったのでメモに残します。 なお、この記事ではtestcontainers自体のメリット等については記載いたしません。 環境 Python 3.12 boto3 1.34.69 minio 7.2.5 testcontainers 4.1.1 ゴール boto3でminioに対してファイルアップロードできたことを検証します。minioについてはtestcontainersでセットアップします。 下準備 testcontainersとminioをdevDependenciesに加えます。各々のパッケージマネジャで読み替えてく…
ZennのScrapsと同じような感覚の記事。間違っている可能性は十分にあります。 今回の記事ではpytestについて自分が調べたことをまとめます。 環境 Python 3.7.9 pytest 7.4.3 pytest-check 2.2.2 Pytestについて 処理順番 pytestではヒットした順番で順次テストするのではなく、collectionというテスト対象のメソッドを集めた過程を経てテストを実行します。この実行前のcollectionで先頭にTestが付いているクラス、test_がついているメソッドを探しています。感覚的には、200テストを探すのに1秒くらいかかるので、テストケー…
pyrightを使用している際に、reportMissingSuperCallが発生したので対応していました。 error: Method "__init__" does not call the method of the same name in parent class (reportMissingSuperCall) ただし、コード上は特に何も継承していません。 class Hoge: def __init__(self, name: str): self.name = name このエラーメッセージを対応するために調査した内容をメモします。 環境 Python 3.12 原因 掲題の…
同一のJSONやDictを与えているはずなのに、生成されたJWTが変わってしまったというメモ。 なお、ライブラリの特性である可能性はあるので、すべてのJWTライブラリで発生するわけではありません。 環境 Python 3.11 python-jose 3.3.0 原因 JSONやDictとしては等価だったが、JSONを文字列化（シリアライズ）したタイミングでキーの順番が変わってしまったため。シリアライズした結果を元にencodeするので、生成されるJWTが等価にならない。 事象発生時のシリアライズ {"id": 1, "exp": 1710152710, "iss": "kirimaru"} …
テスト時に使用するメールドメインについてexample.comを使用していますが、メールドメインで制御しているコードを検証したい時にほかにも安全に使えるドメインがないかを調べたときのメモ。 すでに飽和している情報ですが自分のメモのために残します。 テストで使えるトップレベルドメイン RFC 2606 RFC 2606で定義されているものは次の4つです。 .test .example .invalid .localhost 使い分けについては、RFC 2606で提案されています。 https://datatracker.ietf.org/doc/html/rfc2606 IANA（ICANN） …
Pythonでフレームワークから発生した例外を元に、適切に自作した例外に変換する方法に複数あることを知ったので、それを素振りしました。 なお、結果だけ先にお伝えするとraiseするだけでも9割問題ありません。 環境 Python 3.11.6 確認方法 Pythonでは単純にエラーをraiseするだけでなく、from eとfrom Noneという構文を付けてraiseすることもできます。 try: try: 1 / 0 except ZeroDivisionError as e: raise ValueError("ERROR") # 1つ目 raise ValueError("ERROR")…
WSLで開発中にroot権限で作成されたファイルがあり、IntelliJ IDEAで更新できなかったファイルがありました。そのためディレクトリごとchownとchmodを行ったのですが、Gitに変更箇所があると検知されてしまい、気づかずにコミットしてしまいました。 今回の記事では、chmodを行っても検知されないようにする設定方法と誤ってコミットしてしまったときの復帰手順の操作を記載します。復帰手順に関しては、もっといいやり方がありそうですので、もし同じ事象にハマったら教えてください。 環境 Git 2.34.1 IntelliJ IDEA 2024.1 EAP 設定方法 次のコマンドを実行す…
CI上のRailsのRSpecテストが30分もかかっていてストレスフルだったので、テストを並列化する等で30分かかっていた時間を12分まで削減しました。 そのときのメモ。 環境 AWS CodeBuild Ruby 2.7.2 Rails 6.0.3.6 Parallel_tests 4.4.0 MySQL 8 前提 docker composeでテストは閉じている。そのため、RDS等のアクセスは発生していない。 対応 parallel_testsライブラリを入れる 並列化ライブラリのparallel_testsを導入します。 group :development, :test do gem …
同一ネットワークに所属していればローカルで起動したサーバをiPhone等の他端末からアクセスできるのは知っています。Windowsの場合ipconfigで表示されたIPを指定すればアクセスできることも知っています。ただ、WSLで起動したサーバに対してはアクセスできなかったので、それを回避するためのメモ。 環境 Ubuntu 22.04.2 LTS GNU/Linux 5.15.133.1-microsoft-standard-WSL2 x86_64 前提条件 なし コマンド 次のコマンドで得られたIPを指定すればアクセスできます。 ip addr show eth0 grep inet …
WSLの時刻がズレたことによるエラーが発生したので、時刻修正をした時のメモ。 環境 Ubuntu 22.04.2 LTS GNU/Linux 5.15.133.1-microsoft-standard-WSL2 x86_64 前提条件 なし コマンド 次のコマンドをWSL上で実行することで、Windowsの時刻と一致できます。 sudo hwclock --hctosys または sudo hwclock -s 説明 WSLからWindowsのハードウェアクロック側にアクセスするので、sudo hwclockが必要です。 そのオプションとしてソフトウェアクロックをハードウェアクロックの値で更新…
sudoコマンドを実行したいが、パスワードを忘れたのでWSLのパスワードをリセットするときのメモ。 環境 Ubuntu 22.04.2 LTS GNU/Linux 5.15.133.1-microsoft-standard-WSL2 x86_64 前提条件 変更対象の一般ユーザー名が分かっていること コマンド # root ユーザでログインする wsl -u root # kirimaruユーザのパスワード変更 passwd kirimaru ソースコード なし 終わりに WSL上ではなく、Windows上で構築することに慣れてしまっているので忘れてました。 小ネタですが、残しておきます。
Macを使用している他人がコミットしたファイルをpullしようとしたらFilename too longが出力されてpullできませんでした。その解決方法を残します。 環境 Windows 11 GitBash 4.4.23(1)-release ゴール 次の操作時にエラーが発生しない。 $ git reset --hard origin/develop error: unable to create file xxx/yyy/zzz[ファイルパス] :Filename too long 解決方法 Gitのcore.longpathsをtrueに設定する。 git config --globa…
SQLの小ネタ。 レコードが1:Nの関係のときに、Nが一定数以上のレコードが存在しうるか、存在する場合はどのようなレコードかを知りたいことがありました。 今回の記事ではユースケースとして分かりやすいように、usersテーブルからnameのうち同姓同名が何人・何種類あるかを調べることができるのをゴールとします。 環境 MySQL 8 下準備 次のテーブルを用意する。 CREATE TABLE `users` ( `id` int NOT NULL, `name` varchar(1024), ) INSERT INTO users (id, name) VALUES (1, 'あいうえお'); …
FastAPIで意図しないエラーが発生したときにExceptionでハンドリングしていましたが、それだけではpydanticで発生するエラーがキャッチできなかったのでメモします。 なお、pydanticはAPIのRequestとResponseのモデルで使用していますので、フロントのバリデーションエラーと考えてください。 環境 Python 3.11 FastAPI 0.105.0 pydantic 2.5.3 ゴール pydanticで発生していた次の詳細すぎるメッセージが返却されないこと。 { "detail": [ { "type": "greater_than_equal", "loc…
AnyIOを使用しているテストで、意図せずにasyncioとtrioの2つで動いてしまったテストがあったので、asyncioだけにした時のメモ。 環境 Python 3.11 AnyIO 3.7.1 Pytest 7.4.3 実装 conftest.pyに次の処理を入れると、asyncioだけが動きます。 @pytest.fixture def anyio_backend(): return 'asyncio' テストをAnyIOで動かすには 次のどちらかで動きます。 # 先頭で宣言する pytestmark = pytest.mark.anyio # または、メソッドごとに定義する @pyt…
小ネタ。 特定の条件に一致するレコードを取得するのはINNER JOIN等を使う方法は知ってましたが、一致しないレコードを取得する方法を知らなかったのでメモします。 環境 MySQL 8 実装 NOT EXISTSを使えば条件一致しないレコードを特定できます。逆に条件一致するレコードを調べるときはEXISTSを使えば特定できます。 SELECT * FROM users WHERE NOT EXISTS(SELECT 1 FROM user_profiles WHERE users.id = user_profiles.id) 検証方法 USERSテーブルとUSER_PROFILESテーブルを…
![Chromebookの魅力を再発見！6000円で購入した ASUS Chromebook Flip C214Mで快適デジタルライフ [ 画像 動画あり ]！](https://img.blogmura.com/sites/749364/post-images/71048071.webp/crop/120x120)
