ものづくりのブログ

【Python】shutil でファイルをコピー

shutil でファイルをコピーする処理を作成したのでその時のメモをここに残します。 shutil 使い方 サンプル 準備 コード 実行 shutil python でファイルをコピーするには shutil.copy() か shutil.copy2() を使うと便利そうです。 使い方 標準ライブラリに含まれているので追加のインストールは不要です。 import shutil shutil.copy()の第一引数にコピー元のファイルのパス、第二引数にコピー先のディレクトリまたはファイルのパスを指定します。 実行すると、コピー処理で作成されたファイルのパスが返されます。 第二引数に既存のディレク…

2023/10/31 11:25

【Docker】docker run でホスト側のマウント先を指定する方法

docker run でホスト側のマウント先を指定する方法をここにメモします。 ホスト側のマウント先を指定する場合 $ docker run -v [ホストディレクトリの絶対パス]:[コンテナの絶対パス] [イメージ名] [コマンド] 設定例 $ docker run -it --rm -v `pwd`:/mnt -e "TZ=Asia/Tokyo" -w /mnt --env-file env sample-img /bin/bashマウント先は複数指定も可能です。 $ docker run -it --rm -v `pwd`:/mnt -v /tmp:/tmp -e "TZ=Asia/To…

2023/10/30 09:11

【シェル】文字列置換について

1つ上のディレクトリ のパスを取得するコマンドについて調査したので、ここにメモを残します。 実例 やりたいことは、[/home/test_user/work/sample]というパスに対して[/home/test_user/work]というパスを取得したい。 $ pwd /home/test_user/work/sample $ echo ${PWD%/*} /home/test_user/work $ basename ${PWD} sample $ basename ${PWD%/*} work まとめ 構文 動作 ${変数/パターン/置換文字列} パターンに一致する部分を置換文字列に置き…

2023/10/29 15:49

【宮城】栗駒山で紅葉を見てきました

栗原の浅布渓谷で紅葉を見てきました。 浅布渓谷は、迫川の上流約1.6kmに渡り連なる渓谷です。 1,500万～2,000万年前に日本海ができ、その後火山活動の時代に発展した際に海底に堆積した火山灰や溶岩が、浅布渓谷の滝を形成しているのだそうです。 不動の滝(フドウノタキ)と四巻の滝(シマキノタキ) をみてきました。 マイナスイオンをたくさん浴びた気がしました。 youtu.beついでに湯浜峠から栗駒山を眺め、湧水を汲んできました。

2023/10/28 08:14

【Python】filecmp でファイルやディレクトリの比較

filecmp を使ってファイルやディレクトリの比較をしてみたので、その時のメモをここに残します。 filecmp とは 使い方 ファイルの比較 ディレクトリにあるファイルの比較 ディレクトリ比較 サンプル ファイルの比較 評価用ファイル コード 実行結果 ディレクトリにあるファイルの比較 評価用ファイル コード 実行結果 ディレクトリ比較 評価用ファイル コード 実行結果 filecmp とは filecmp モジュールは、ファイルとディレクトリを比較するものです。 使い方 ファイルの比較 f1 と f2 という名前のファイルを比較し、等しいと思われる場合は True を返し、そうでない場合…

2023/10/27 09:42

【rsync】delete オプションについて調査

rsync で delete オプションを使ってみたのでここにメモを残します。 rsync --delete オプション について 具体例 想定した挙動 想定外の挙動 rsync 「rsync」は、リモート環境とファイルやディレクトリを「同期（sync）する」というコマンドです。ローカル環境のみでも使用できます。「変更があった分だけ更新する」という機能があるので、ディレクトリ単位のバックアップで特に便利に使えます。 --delete オプション について 転送元のディレクトリになくて、転送先のディレクトリに存在するファイルは削除するオプションです。 以下5種類あります。 オプション 処理内容 …

2023/10/26 11:49

【岩手】奥州の花火大会

2023年10月21日(土)に奥州の花火大会があったので行ってきました。 寒かったのですが、空気が澄んでいたのか、花火がとても綺麗にみえました。www.youtube.com寒くなってからの花火もいいなと思いました。

2023/10/23 11:41

【2023/10/20】今日のうちの猫たち

今日のうちの猫たちをアップしました。 茶トラ www.youtube.com キジトラ

2023/10/20 10:22

【python】pybullet を使ってみる

pybullet を使ってみたので、その時のメモをここに残します。 pybullet インストール セットアップ サンプル実行 humanoid_manual_control.py pybullet pybullet は、オープンソースの物理演算エンジンです。 pybullet を使えば、Pythonで深層強化学習やロボットシミュレーションが実現できます。 インストール 今回は以下の環境でセットアップを行いました。 % sw_vers ProductName: Mac OS X ProductVersion: 10.15.7 BuildVersion: 19H15 % python --ver…

2023/10/19 12:18

【広告】リーチ数について調査

リーチ数に関する知識が乏しいためいったんここに情報を整理します。 リーチ数とは 各媒体のリーチの定義 用語 アカウントセンター タイムライン ビューアブルインプレッション 広告管理画面でのリーチ数の確認方法 Facebook Google X(Twitter) Yahoo API でのリーチ数の確認方法 Facebook ドキュメント 備考 Google X(Twitter) ドキュメント 備考 Yahoo ドキュメント 備考 リーチ数とは リーチ数は広告/または投稿を見たユーザーの数を指します。例) あるユーザーがサイトに3回訪問し、そのすべてのページで広告Aが掲載されていたとしても、広告A…

2023/10/18 16:21

【Perl】Mac に plenv をインストール

バージョンの異なるPerlを使い分ける場合、plenv で環境構築を行うと便利です。 ここに、Mac で plenv を使用する場合のメモを残します。 plenv plenv とは インストール コマンド実行例 インストール可能な Perl のバージョンのリスト表示 指定したバージョンのPerlをインストール 指定したバージョンの Perl をシステムで利用 インストールした Perl の確認 インストール済みのモジュール確認 help plenv plenv とは plenv は Perl のインストール管理ツールです。Perl のバージョンを簡単に切り替えて実行することできます。 perl…

2023/10/16 08:56

【Python】No module named '_tkinter' と表示されたときの対応

Mac にpyton をインストールしようとしたところ、エラーになってしまったのでその時の対応方法をここにメモします。 エラー 対処法 エラー pyenv で python v3.11.4 をインストールしようとしたところ、"ModuleNotFoundError: No module named '_tkinter'"というメッセージが出てインストールが失敗します。 % pyenv install 3.11.4 python-build: use openssl@1.1 from homebrew python-build: use readline from homebrew Downlo…

2023/10/15 13:04

【機械学習】Waifu Labs で作成した画像を PIKA LABS で動かしてみる

Waifu Labs で作成した画像を PIKA LABS で動かしてみました。 Waifu Labs で作成した画像 a1026302.hatenablog.com サンプル PIKA LABS www.pika.art PIKA LABS で作成した動画 www.youtube.com

2023/10/14 08:29

【機械学習】Waifu Labs で遊んでみる

Waifu Labs で遊んでみました。 Waifu Labs 制約 実際に生成したキャラクター Waifu Labs Waifu Labs は美少女キャラクターのイラストを自動生成してくれるサービスです。 waifulabs.com 簡単に作成できるのでびっくりしました。 制約 商用利用不可 ロゴ改変禁止 実際に生成したキャラクター

2023/10/13 12:04

【crontab】設定方法をメモ

crontab の設定を度々するのですが、すぐに書式を忘れてしまうのでここにメモします。 オプション スケジュール 書式 設定可能な数値 指定方法 設定例 分単位 毎時30分に実行 10分ごとに実行 毎時15分と45分に実行 時間単位 毎日4:30 に実行 毎日14:30 に実行 日単位 毎月10日の6:15 に実行 毎月10日の16:45 に実行 月単位 10月15日 5:00に実行 1月15日 5:00に実行 曜日単位 毎週月曜日の10:00に実行 毎週月〜水曜日の10:00に実行 オプション オプション 備考 -U ユーザを指定してcrontab 実行（rootユーザのみ使用可） -l …

2023/10/12 08:23

FTP と SFTP の機能の違い

FTP と SFTP の機能の違いについてまとめてみました。 FTP とは FTP（File Transfer Protocol）とは、サーバとクライアントの間でファイル転送を行う際に必要となる通信プロトコルです。 SFTP とは SFTPは、FTP over SSH (Secure Shell)とも呼ばれ、安全なファイル転送のために設計された安全なFTPプロトコルの1つです。 FTPの脆弱性をカバーするために、転送される情報を「SSL/TLS」を利用して暗号化します。 比較 機能 FTP SFTP 転送時の暗号化 不可 FTP over SSH (Secure Shell) ポートのデフォル…

2023/10/11 11:34

【コマンド】grep: (標準入力): binary file matches とでた時の対処

grep コマンドを使っていたら、中身はテキストファイル なのに "binary file matches" というメッセージが出てきて処理できなかったので、その時の回避方法をここにメモします。 エラー 回避方法 オプション 「-a」 「–text」 「–binary-files=text」 エラー 実行したコマンドは以下のものです。 $ grep "HOGE" sample.txt Binary file (standard input) matches 原因は grep するファイルにバイナリと思われるデータが含まれていて、それがテキストファイルではなく、バイナリファイルとして処理されてエ…

2023/10/10 10:06

【分析】0次分析とは

0次分析について調べてみました。 0次分析 「0次分析」は、仮説立案後に実施される分析(1次分析)の前に行う分析で、「ターゲットを可視化するための最初の分析」として、収集したビックデータを可視化(マップ化)し、データの特徴や傾向を一目で把握できるようにし、ノイズデータの見分けや分析軸の決定・仮説立案に利用するようです。 用途 そのまま可視化（マップ化）して俯瞰 データの特徴や傾向を把握 1次分析につながる仮説立案 実例 購買データに購入者の属性を掛け合わせて、どのような年齢や属性の人が商品を購入しているのかを把握 特定商品の購入者/非購入者のライフスタイルを導出

2023/10/09 10:43

【岩手】岩泉まつたけ祭りに行ってきました。

岩泉まつたけ祭りに行ってきました。 岩泉まつたけ祭り 松茸美味しかったです。参加者限定の販売があったのですが、とても安くて買って帰りました。 (10本入ってて7000円) www.shokokai.com 龍泉洞 龍泉洞は日本三大鍾乳洞の一つみたいです。 今回は時間がなかったので、外だけ散歩しました。 www.iwate-ryusendo.jp

2023/10/07 08:42

【AWS】テストコード

moto 使って AWS サービスを mock する手順をここにメモします。 moto について インストール サンプルコード s3 secretsmanager moto について moto はテスト用途で使用する AWS のインフラを容易に構築するためのライブラリです。 インストール $ pip install moto サンプルコード s3 s3 用のサンプルコードは以下の通りです。 from unittest import TestCase from src.sample import SampleClass, get_input_params import boto3 import …

2023/10/06 14:20

【AWS】lambda から ECS を実行

lambda から ECS を実行する方法をメモします。 設定 ECS 環境変数 コード 設定 ECS a1026302.hatenablog.com 環境変数 キー 値 備考 AWSVPC_CONF_SECURITY_GROUPS sg-xxxxxxxxxxxxx AWSVPCの設定 AWSVPC_CONF_SUBNETS subnet-xxxxxxxxxxxxx AWSVPCの設定 ECS_CLUSTER sample-ecs-dev ECSのクラスター名 TASK_DEFINITION_ARN arn:aws:ecs:ap-northeast-1:xxxxx:task-definitio…

2023/10/05 11:09

【AWS】S3 からダウンロードしたファイルのチェックサムを取得する方法について調査

S3 から落として来たファイルのチェックサムを知りたい場合は、etag を利用するといいみたいです。 etag とは コード 問題点 マルチパートアップロード時の ETag 値 etag とは etag はオブジェクトのハッシュタグと同等で、ファイルの内容を反映しています。 32桁の hex で表すことができます。 コード python の boto3 でヘッダー情報を取得するスクリプトです。 import boto3 import traceback s3_bucket = "..." s3_key = "..." session = boto3.session.Session() s3_c…

2023/10/03 10:53

【Perl】正規表現のアンチョコ作成

たまに使う Perl ですが、正規表現の書き方をすぐ忘れてしまうので、ここにアンチョコを作成します。 特殊変数 置換 サンプル 修飾子 g 修飾子 e 修飾子 変換 サンプル 大文字変換 c 修飾子 d 修飾子 パターンマッチ サンプル メタ文字の正規表現 サンプル 特殊変数 表現 説明 . 改行を除くすべての文字 \d 数字 \D 数字以外の文字 \w ワード文字(「a～z」「A～Z」「0～9」 アンダーバー「_」) \W ワード文字以外の文字 \s 空白文字( スペース「 」、タブ文字「\t」、改行文字「\n, \r」など) \S 空白文字以外の文字 ^ 文字列の先頭 $ 文字列の末尾 \…

2023/10/02 14:09