ものづくりのブログ

【Makefile】notdir を使ってみました

makefile で notdir を使ってみたのでその時のメモをここに残します。 notdir はディレクトリ以外を抽出します。 コード $ cat Makefile VAR := ../a/b/c/test.txt .PHONY: all all: @echo "$(notdir $(VAR))" 実行結果 「../a/b/c/test.txt」が「test.txt」と表示されます。 $ make test.txt

2024/05/31 12:17

【pandas】欠損値を除外する処理

pandas のデータフレームの欠損値を除外する方法をここにメモします。 dropna() メソッド 欠損値を除外するには dropna() メソッドを使います。 パラメータ how='all' すべての値が欠損値 NaN である行・列を削除 how='any' 欠損値 NaN が一つでも含まれる行・列を削除 (デフォルト) thresh={int} 欠損値NaNではない要素の数に応じて行・列を削除 subset=['name'] 特定の行・列に欠損値NaNがある列・行を削除 inplace=True/False 元のオブジェクトを変更 サンプル csv $ cat sample.csv 1,…

2024/05/30 19:38

【Pandas】read_csv でヘッダあり・なしの読み込み

pandas の csv 読み込みでヘッダあり・なしの読み込み方法をメモします。 使い方 ヘッダあり df = pd.read_csv(filename, header=0) ヘッダなし 「header」に「None」を渡した場合、ヘッダなしの処理になります。 カラム名の指定がない場合 0, 1, 2, ... となり、「names」で指定すればその情報がヘッダになります。 df = pd.read_csv(filename, header=None, names=['A', 'B']) 参考 pandas.pydata.org

2024/05/28 09:58

【Google Cloud Platform】Secret Manager を使ってみました

Secret Manager に登録した情報を呼び出す処理を調べてみました。 コード from google.cloud import secretmanager class SecretManagerUtil: def get_secret(self, project_id: str, secret_id: str) -> str: client = secretmanager.SecretManagerServiceClient() name = f"projects/{project_id}/secrets/{secret_id}/versions/latest" response = …

2024/05/27 20:57

【シェル】$* / $@ について

「$@」と「$*」は「全ての引数」を表す特殊変数です。 ただ、ダブルクォートなどで括った際の扱いが異なり、このことをよく忘れてしまうため、ここにメモを残します。 「$@」を利用した場合、引数1つ1つがダブルクォートで括られる 「$*」を利用した場合、引数全てがまとめてダブルクォートで括られる

2024/05/24 11:42

【ssh】no matching host key type found. と表示された時の対応

sshを使ったところ、以下のメッセージが出て接続処理に失敗してしまいました。 $ ssh {{sample_host}} Unable to negotiate with UNKNOWN port 65535: no matching host key type found. Their offer: ssh-rsa,ssh-dss Connection closed by UNKNOWN port 65535 回避方法 「~/.ssh/config」 の末尾に以下の設定を加えると接続に成功しました。 Host * HostKeyAlgorithms=+ssh-rsa PubkeyAccept…

2024/05/23 14:47

【pandas】read_csv でどのようなデータが空データになるか検証

pandas の read_csv でどのようなデータが空データになるか検証を行いました。 入力情報 検証したいこと ダブルクォーテーション（"）のみ シングルクォーテーション（'）のみ 空 半角スペースのみ 全角スペースのみ csv $ cat sample.csv 1,1-1,"1-2" 2,"",'', 3,, 4, , ,hoge コード $ python Python 3.11.3 (main, Apr 17 2023, 18:50:53) [GCC 11.3.0] on linux Type "help", "copyright", "credits" or "license" f…

2024/05/22 09:36

【Flask】render_template を使ってみました

Flask で render_template を使ってみたので、ここにメモを残します。 サンプルコード python html メモ サンプルコード python from flask import Flask, render_template app = Flask(__name__) @app.route('/index') def index(): foo = "sample 01" bar = "sample 02" return render_template('index.html', foo=foo, bar=bar) if __name__ == '__main__': ap…

2024/05/10 17:37

【s3】ファイルの扱い方を調べてみました

pythonを使ってs3のファイルを扱う方法がわからなかったのでここに調査内容をまとめました。 メモ サンプルコード アップロード ファイル確認 ファイルダウンロード ファイル削除 メモ aws_access_key_id / aws_secret_access_key はマスク sample.txt は事前にtouchコマンドで作成 サンプルコード アップロード import boto3 s3 = boto3.resource( 's3', aws_access_key_id='xxxxxxxxxxxxxxxxxxxxx', aws_secret_access_key='xxxxxxxxxx…

2024/05/09 13:19