Google Cloud Storage を操作する際に、gsutil コマンドを利用しますが、使い方をよく忘れるのでここにメモします。 一覧表示 バケット一覧表示 フォルダの内容の一覧表示 オブジェクトの詳細表示 オブジェクトコピー ローカルからアップロード バケットからダウンロード バケットからバケットから 削除 バケット削除 オブジェクト削除 バケット作成 デフォルト ロケーションやストレージクラス指定 一覧表示 バケット一覧表示 gsutil ls フォルダの内容の一覧表示 gsutil ls gs://{{BUCKET_NAME}}/{{FOLDER_NAME}} オブジェクトの詳細…

有料のチケットを購入したユーザーだけが参加できるイベントがあるみたいですが、ゲームはやってないので会場の雰囲気を味わいたくて行ってみました。どうやらイベントのテーマに沿ったポケモンや、イベントでしか手に入らないポケモンがゲットできるみたいです。 サイト gofest.pokemongolive.com 写真 5/31(金)の午後は雨が上がったばかりで、少し肌寒かったのですが、お散歩にはちょうどいい感じでした。 map はこんな感じです。 公園内は「泉の庭園」「水音の丘」「スカイアリーナ」「星のパレード」という4つの生息地が用意されていて、生息地ごとにゲットできるポケモンが変わるみたいです。 大…

makefile で notdir を使ってみたのでその時のメモをここに残します。 notdir はディレクトリ以外を抽出します。 コード $ cat Makefile VAR := ../a/b/c/test.txt .PHONY: all all: @echo "$(notdir $(VAR))" 実行結果 「../a/b/c/test.txt」が「test.txt」と表示されます。 $ make test.txt

pandas のデータフレームの欠損値を除外する方法をここにメモします。 dropna() メソッド 欠損値を除外するには dropna() メソッドを使います。 パラメータ how='all' すべての値が欠損値 NaN である行・列を削除 how='any' 欠損値 NaN が一つでも含まれる行・列を削除 (デフォルト) thresh={int} 欠損値NaNではない要素の数に応じて行・列を削除 subset=['name'] 特定の行・列に欠損値NaNがある列・行を削除 inplace=True/False 元のオブジェクトを変更 サンプル csv $ cat sample.csv 1,…

pandas の csv 読み込みでヘッダあり・なしの読み込み方法をメモします。 使い方 ヘッダあり df = pd.read_csv(filename, header=0) ヘッダなし 「header」に「None」を渡した場合、ヘッダなしの処理になります。 カラム名の指定がない場合 0, 1, 2, ... となり、「names」で指定すればその情報がヘッダになります。 df = pd.read_csv(filename, header=None, names=['A', 'B']) 参考 pandas.pydata.org

Secret Manager に登録した情報を呼び出す処理を調べてみました。 コード from google.cloud import secretmanager class SecretManagerUtil: def get_secret(self, project_id: str, secret_id: str) -> str: client = secretmanager.SecretManagerServiceClient() name = f"projects/{project_id}/secrets/{secret_id}/versions/latest" response = …

「$@」と「$*」は「全ての引数」を表す特殊変数です。 ただ、ダブルクォートなどで括った際の扱いが異なり、このことをよく忘れてしまうため、ここにメモを残します。 「$@」を利用した場合、引数1つ1つがダブルクォートで括られる 「$*」を利用した場合、引数全てがまとめてダブルクォートで括られる

sshを使ったところ、以下のメッセージが出て接続処理に失敗してしまいました。 $ ssh {{sample_host}} Unable to negotiate with UNKNOWN port 65535: no matching host key type found. Their offer: ssh-rsa,ssh-dss Connection closed by UNKNOWN port 65535 回避方法 「~/.ssh/config」 の末尾に以下の設定を加えると接続に成功しました。 Host * HostKeyAlgorithms=+ssh-rsa PubkeyAccept…

pandas の read_csv でどのようなデータが空データになるか検証を行いました。 入力情報 検証したいこと ダブルクォーテーション（"）のみ シングルクォーテーション（'）のみ 空 半角スペースのみ 全角スペースのみ csv $ cat sample.csv 1,1-1,"1-2" 2,"",'', 3,, 4, , ,hoge コード $ python Python 3.11.3 (main, Apr 17 2023, 18:50:53) [GCC 11.3.0] on linux Type "help", "copyright", "credits" or "license" f…

Flask で render_template を使ってみたので、ここにメモを残します。 サンプルコード python html メモ サンプルコード python from flask import Flask, render_template app = Flask(__name__) @app.route('/index') def index(): foo = "sample 01" bar = "sample 02" return render_template('index.html', foo=foo, bar=bar) if __name__ == '__main__': ap…

pythonを使ってs3のファイルを扱う方法がわからなかったのでここに調査内容をまとめました。 メモ サンプルコード アップロード ファイル確認 ファイルダウンロード ファイル削除 メモ aws_access_key_id / aws_secret_access_key はマスク sample.txt は事前にtouchコマンドで作成 サンプルコード アップロード import boto3 s3 = boto3.resource( 's3', aws_access_key_id='xxxxxxxxxxxxxxxxxxxxx', aws_secret_access_key='xxxxxxxxxx…

都内に用事があって、そのついでにちいかわのバナナプリンケーキをお土産に買ったのでその時のことをここに残します。 前日売り切れを確認 ウチの妻が、都内に行った際のお土産に、ちいかわのバナナプリンケーキが欲しいと言っていたので、用事をこなした後に行ってみたら既に売り切れでした。 まぁその時は17時過ぎだから、売り切れもあるかと軽く考えてました。 お土産買いに初めて並びました 次の日、たまたま早く起きて東京駅で朝ラーメンを食してからお土産かって帰ろうとしたところ、ちいかわのお土産に沢山並んでいるのを発見し、急きょ私も並びました。 確か、お店が9時開店で、8時過ぎくらいにラーメン食べてその帰りに...…

シーケンス図のみかたがわからなかったので調べてみました。 Opt option 条件が真である場合に被演算子が実行される。 Alt alternative 条件が真である被演算子が実行される。 Loop loop 特定の期間で命令をループする。 Break break 条件が真または偽の場合はループが壊れ次の命令が実行される。 Ref reference 外部参照

天気が良かったので桜を見に行ってきました。 4月なのに暑くてびっくりしました。 馬がいてびっくりしました。 スイセンかな？黄色いお花も綺麗でした。

近場で駅弁フェアのようなものがあったので様子をみてきました。目を引いたのは、引っ張りタコ飯というもので、器がほしくて買ってみました。 自衛隊隊やさかなくんともコラボしているみたいで、どの器にするか悩みました。 今回購入したのは「春の ひっぱりだこ飯 」淡路屋の人気駅弁「ひっぱりだこ飯」の春バージョンです。 味付けご飯とぷりぷりのタコが入っていておいしかったです。 ひっぱりだこ飯の容器は洗って何かに使おうと思います。 蓋も別売りであったのですが、買わなかったことを少し後悔しました。 (どうしても欲しくなったら通販で買おうと思います)all.awajiya.co.jp

python で BigQuery のテーブルを削除する方法をここにメモします。 from google.cloud import bigquery import traceback try: table_id = "{{__project_id__}}.{{__dataset_id__}}.{{__table_name__}}" client.delete_table(table_id, not_found_ok=True) except Exception as e: print(f"{traceback.format_exc()}")

python で以下のエラーが出たのでその時のメモをここに残します。 AttributeError: cython_sources [end of output] note: This error originates from a subprocess, and is likely not a problem with pip. error: subprocess-exited-with-error × Getting requirements to build wheel did not run successfully. │ exit code: 1 ╰─> See above for …

Mysql でダンプファイル を生成しようとしたら「Illegal mix of collations」というエラーが表示されました。 その時調べたことをここにメモします。 エラー発生時 「Illegal mix of collations」とは 解決策 調査時のコマンドのメモ 関連 エラー発生時 パスワード等々で Warning もでている。 $ mysqldump -h hoge -P 3306 -uroot -phogehoge sample --ssl-mode=DISABLED > sample_20240327.dump mysqldump: [Warning] Using a p…

たまに使う mysqldump ですが、オプションの指定方法が覚えられないのでここにメモします。 オプション よく使うオプション たまに使うオプション コマンド（サンプル） ダンプ データベース テーブル 複数データベースを指定してダンプ データベース 定義のみダンプ データベースとテーブル データベース データのみダンプ データベースのデータ リストア オプション よく使うオプション -u ユーザ名 サーバに接続するユーザー名 -p パスワード サーバに接続するパスワード -h ホスト名 接続するサーバのホスト名(指定無: localhost) -A すべてのデータベース 複数データベースを…

Cloud Functions の開発を行う際に毎回 Cloud Functions にデプロイするのが大変だったので、ローカル環境で実行する方法を調べました。 ファイル構成 サンプルコード Makefile env docker-compose.yaml Dockerfile 使い方 make deploy make run make local_up make local_run ファイル構成 $ tree . ├── Makefile ├── README.md ├── docker │ └── Dockerfile └── package ├── config ├── lib │ └─…