Pandas の .apply() 関数に lambda の処理を入れていたのですが、1レコードでも例外が含まれていると全ての処理に影響してしまうという問題がありました。 コード 問題のコード 改良 参考 コード 問題のコード import pandas as pd import numpy as np _df=pd.DataFrame(np.array([['a','a'], [1,2]])) try: _df[0].apply(lambda x: int(x)+1) except Exception: int(x)+1 logger.warning(f"no change.") 改良 im…

Google Cloud Pricing Calculator Google Cloud Pricing Calculator は GCP のコストを計算するための試算ツールです。 利用を検討している機能やインスタンス数、使用容量などの必要事項を入力すると、機能ごとの利用料金をシミュレーションできます。 利用 cloud.google.com 使い方 利用するサービスに応じてタブが分かれています。 調査対象のリソースごとに、タブを切りかえて、必要事項を入力し「ADD TO ESTIMATE」をクリックすると、画面右側に見積金額が表示されます。 すでに「ADD TO ESTIMATE」した見積も…

折爪岳に行ってヒメホタルをみました。途中「オドデ様の滝」という場所を通りました。 今回は錫杖の泉近くの駐車場に車を停めてホタルを探しました。 明るいうちにあたりを散策しました。 iphoneで撮影してみたけど、うまく撮れませんでした。 www.youtube.com 参考 oritsumedake.com

サッシーを収穫しました。 収穫 料理 ポテトチップス フライドポテト ポテトサラダ 収穫 料理 ポテトチップス フライドポテト ポテトサラダ

ダンシャクイモを収穫しました。 毎日蒸し暑くて大変です。 ジャガイモ ダンシャク 今年植えたジャガイモを調べてみました キタノアカリ ダンシャク サッシー トヨシロ シンシア ジャガイモ ダンシャク 今年植えたジャガイモを調べてみました キタノアカリ ポテサラとかにいい品種とのことでした。 煮くずれしやすいので長時間煮込む料理には不適みたいです。 ダンシャク ポテサラとかにいい品種とのことでした。 サッシー フランスの品種で男爵のように丸く、中身は黄色い、栗のような甘さのようです。 煮崩れしないので煮込み用のジャガイモとしていい品種とのことでした。 また油料理に適しており、フライドポテトやコロ…

gcloud コマンドで cloud run にデプロイすると、Artifact Registry にコンテナイメージが溜まっていたので、用途などを調べてみました。 Artifact Registry メリット 機能 ロケーション セキュリティ コスト 参考 Artifact Registry Artifact Registry は従来の Container Registry の機能を拡張したもので、docker などのコンテナイメージを一元的に管理することが出来るGoogle Cloudのサービスです。 メリット コンテナイメージを格納しておくと、コンテナイメージを修正した後に履歴を残してく…

まだ6月なのに連日暑くて、大変です。 ジャガイモ 今日はプランターに植えていたジャガイモを収穫してみました。 プランターをひっくり返してジャガイモを採りました。 2つのプランターから結構収穫できました。 あと、3種類植えていたので、他のジャガイモの収穫も楽しみです。 トマト ミニトマトももうすぐ収穫できそうです。 大きいトマトもか!

Google Cloud Storage を操作する際に、gsutil コマンドを利用しますが、使い方をよく忘れるのでここにメモします。 一覧表示 バケット一覧表示 フォルダの内容の一覧表示 オブジェクトの詳細表示 オブジェクトコピー ローカルからアップロード バケットからダウンロード バケットからバケットから 削除 バケット削除 オブジェクト削除 バケット作成 デフォルト ロケーションやストレージクラス指定 一覧表示 バケット一覧表示 gsutil ls フォルダの内容の一覧表示 gsutil ls gs://{{BUCKET_NAME}}/{{FOLDER_NAME}} オブジェクトの詳細…

有料のチケットを購入したユーザーだけが参加できるイベントがあるみたいですが、ゲームはやってないので会場の雰囲気を味わいたくて行ってみました。どうやらイベントのテーマに沿ったポケモンや、イベントでしか手に入らないポケモンがゲットできるみたいです。 サイト gofest.pokemongolive.com 写真 5/31(金)の午後は雨が上がったばかりで、少し肌寒かったのですが、お散歩にはちょうどいい感じでした。 map はこんな感じです。 公園内は「泉の庭園」「水音の丘」「スカイアリーナ」「星のパレード」という4つの生息地が用意されていて、生息地ごとにゲットできるポケモンが変わるみたいです。 大…

makefile で notdir を使ってみたのでその時のメモをここに残します。 notdir はディレクトリ以外を抽出します。 コード $ cat Makefile VAR := ../a/b/c/test.txt .PHONY: all all: @echo "$(notdir $(VAR))" 実行結果 「../a/b/c/test.txt」が「test.txt」と表示されます。 $ make test.txt

pandas のデータフレームの欠損値を除外する方法をここにメモします。 dropna() メソッド 欠損値を除外するには dropna() メソッドを使います。 パラメータ how='all' すべての値が欠損値 NaN である行・列を削除 how='any' 欠損値 NaN が一つでも含まれる行・列を削除 (デフォルト) thresh={int} 欠損値NaNではない要素の数に応じて行・列を削除 subset=['name'] 特定の行・列に欠損値NaNがある列・行を削除 inplace=True/False 元のオブジェクトを変更 サンプル csv $ cat sample.csv 1,…

pandas の csv 読み込みでヘッダあり・なしの読み込み方法をメモします。 使い方 ヘッダあり df = pd.read_csv(filename, header=0) ヘッダなし 「header」に「None」を渡した場合、ヘッダなしの処理になります。 カラム名の指定がない場合 0, 1, 2, ... となり、「names」で指定すればその情報がヘッダになります。 df = pd.read_csv(filename, header=None, names=['A', 'B']) 参考 pandas.pydata.org

Secret Manager に登録した情報を呼び出す処理を調べてみました。 コード from google.cloud import secretmanager class SecretManagerUtil: def get_secret(self, project_id: str, secret_id: str) -> str: client = secretmanager.SecretManagerServiceClient() name = f"projects/{project_id}/secrets/{secret_id}/versions/latest" response = …

「$@」と「$*」は「全ての引数」を表す特殊変数です。 ただ、ダブルクォートなどで括った際の扱いが異なり、このことをよく忘れてしまうため、ここにメモを残します。 「$@」を利用した場合、引数1つ1つがダブルクォートで括られる 「$*」を利用した場合、引数全てがまとめてダブルクォートで括られる

sshを使ったところ、以下のメッセージが出て接続処理に失敗してしまいました。 $ ssh {{sample_host}} Unable to negotiate with UNKNOWN port 65535: no matching host key type found. Their offer: ssh-rsa,ssh-dss Connection closed by UNKNOWN port 65535 回避方法 「~/.ssh/config」 の末尾に以下の設定を加えると接続に成功しました。 Host * HostKeyAlgorithms=+ssh-rsa PubkeyAccept…

pandas の read_csv でどのようなデータが空データになるか検証を行いました。 入力情報 検証したいこと ダブルクォーテーション（"）のみ シングルクォーテーション（'）のみ 空 半角スペースのみ 全角スペースのみ csv $ cat sample.csv 1,1-1,"1-2" 2,"",'', 3,, 4, , ,hoge コード $ python Python 3.11.3 (main, Apr 17 2023, 18:50:53) [GCC 11.3.0] on linux Type "help", "copyright", "credits" or "license" f…

Flask で render_template を使ってみたので、ここにメモを残します。 サンプルコード python html メモ サンプルコード python from flask import Flask, render_template app = Flask(__name__) @app.route('/index') def index(): foo = "sample 01" bar = "sample 02" return render_template('index.html', foo=foo, bar=bar) if __name__ == '__main__': ap…

pythonを使ってs3のファイルを扱う方法がわからなかったのでここに調査内容をまとめました。 メモ サンプルコード アップロード ファイル確認 ファイルダウンロード ファイル削除 メモ aws_access_key_id / aws_secret_access_key はマスク sample.txt は事前にtouchコマンドで作成 サンプルコード アップロード import boto3 s3 = boto3.resource( 's3', aws_access_key_id='xxxxxxxxxxxxxxxxxxxxx', aws_secret_access_key='xxxxxxxxxx…

都内に用事があって、そのついでにちいかわのバナナプリンケーキをお土産に買ったのでその時のことをここに残します。 前日売り切れを確認 ウチの妻が、都内に行った際のお土産に、ちいかわのバナナプリンケーキが欲しいと言っていたので、用事をこなした後に行ってみたら既に売り切れでした。 まぁその時は17時過ぎだから、売り切れもあるかと軽く考えてました。 お土産買いに初めて並びました 次の日、たまたま早く起きて東京駅で朝ラーメンを食してからお土産かって帰ろうとしたところ、ちいかわのお土産に沢山並んでいるのを発見し、急きょ私も並びました。 確か、お店が9時開店で、8時過ぎくらいにラーメン食べてその帰りに...…

シーケンス図のみかたがわからなかったので調べてみました。 Opt option 条件が真である場合に被演算子が実行される。 Alt alternative 条件が真である被演算子が実行される。 Loop loop 特定の期間で命令をループする。 Break break 条件が真または偽の場合はループが壊れ次の命令が実行される。 Ref reference 外部参照