a1026302さんのプロフィール

docker-compose を自分なりにまとめてみる

docker-compose は複数のコンテナからなるシステムの構築をするためのツールと考えています。 docker-compose を使うまでのステップ 例えば、postgres と django を使ったアプリを作成する場合は以下のステップを踏みます。 作業フォルダ作成 作業フォルダを作成します。 Dockerfile 作成 Dockerfile は、そのイメージを構成するビルドコマンドを定義します。 # syntax=docker/dockerfile:1 FROM python:3 ENV PYTHONUNBUFFERED=1 WORKDIR /code COPY requiremen…

よく使う docker コマンド

docker でよく使うコマンドをまとめてみました。 一覧 イメージの一覧確認 $ docker images コンテナの一覧確認（全てのコンテナ） $ docker ps -a docker コンテナ操作 コンテナ起動 $ docker start {{コンテナID}} コンテナ停止 $ docker stop {{コンテナID}} コンテナを作成して起動からログインしてbashで操作 $ docker exec -it {{コンテナ名}} bash バージョン確認 Dockerのバージョン確認 $ docker --version Docker Composeのバージョン確認 $ dock…

docker で不要なコンテナを削除する方法

docker で使われていないコンテナイメージなどを削除したい場合は以下のコマンドを実行します。 $ docker system prune -a a は --all で、 build キャッシュと、中間イメージ（タグのないイメージ）も消します。 コンテナから使用されていない Docker ボリュームを消すには以下のコマンドを実行します。 $ docker system prune --volumes動いているコンテナ確認するには以下のコマンドを実行して確認します。 $ docker ps容量が空いたかどうかは、以下のコマンドを実行して確認します。 docker system df TYPE …

nkf を使って文字コードの変換を行う。

nkf は文字コードを変換するコマンドです。 Network kanji Filter の略のようです。 ja.wikipedia.org自分がよく使うものをまとめてみました。 オプション 説明 -g 文字コードの判別 -w utf-8 変換 -e euc-jp 変換 -s shift-jis 変換 使い方 文字コード判別 g オプションにファイル名を渡してあげると文字コードを判別してくれます。 $ nkf -g {FILE} ファイルの上書き(utf-8変換) overwrite オプションを指定すると、変換結果でファイルを置き換えることができます。 $ nkf --overwrite -w…

rails で mimemagic がどうのこうのと... 困る

docker で開発されたツールをセットアップしていたら以下のメッセージが出て bundle install が失敗してしまい困りました。 その時のメモを残しておこうと思います。 問題のメッセージ => ERROR [8/8] RUN bundle install 3.0s ------ > [8/8] RUN bundle install: #12 0.474 The dependency tzinfo-data (>= 0) will be unused by any of the platforms Bundler is installing for. Bundler is instal…

github でファイル名の検索を行う方法

github でファイル名を検索する機能があったのでここにメモしておきます。 検索方法 レポジトリのトップ画面を開く [t]キーをクリック ファイル名の検索が表示される ファイル名を入力

ansible vault を使ってみる

ansible-vault コマンドで認証情報を暗号化してみたので、その時のメモをまとめてみました。 ファイルをまるごと暗号化したいため、事前に secret.yml というファイルを作成しておきます。 ヘルプの内容 $ ansible-vault -h [DEPRECATION WARNING]: Ansible will require Python 3.8 or newer on the controller starting with Ansible 2.12. Current version: 3.7.8 (default, Jul 19 2021, 19:01:14) [GCC 9…

slack の simple poll を使ってみる

simple poll とは？ Slack内でアンケートを実施できる機能です。 下記のようなことができます。 Yes/Noのアンケートはもちろん、複数の選択肢も可能 誰がどこに投票したかリアルタイムでわかる 投票結果をCSVでダウンロードできる 定期的にアンケートを繰り返せる 匿名でのアンケートも可能 Simple Poll のインストール 公式ページは以下の通りです。 simplepoll.rocks 基本的な使い方 Slackのテキスト入力画面に「/poll」と入力します。 その後、以下の例のようにテキストを入力すると、アンケートが作成されます。 /poll "今日の打ち合わせは出席可能で…

Pyinstaller で作成した exe ファイルがセキュリティソフトのチェックに引っかかってしまい色々調べてみた

Pyinstaller でビルドしたアプリがセキュリティソフトのフィルタに突然ヒットするようになったので原因を調べてみました。以下のサイトに色々書いてありました。 github.com github.com 改善はみられなかったけど実施してみたこと pyinstaller の bootloader をリビルドし実行ファイル作成 pyinstaller.readthedocs.io python のバージョンを切り替えて実行ファイルを作成 3.10.0 3.9.9 3.8.12 3.7.12 うーんうまくいかない。

cx_Freeze を使ってみる

Python のスクリプトファイルを exe 化する方法に cx_Freeze というものがあります。 今回は cx_Freeze について使い方をまとめてみました。 cx_Freeze インストール 以下のコマンドで cx_Freeze をインストールします。 pip install cx_Freeze exe ファイル作成 python スクリプト作成 sample.py というファイルを作成します。 print ("hellow cx_Freeze ...") setup.py ファイル作成 import sys from cx_Freeze import setup, Executab…

py2exe を使ってみる

py2exe は、python スクリプトを Windows の実行ファイル(.exeファイル)に変換するアプリケーションです。 py2exe インストール 以下のコマンドでインストールします。 $ pip install py2exe 変換手順 python スクリプト作成 setup.py 作成 変換コマンド実行 python スクリプト作成 sample.py というファイルに以下を記入する。 print ("Hello py2exe...") setup.py 作成 setup.py というファイルに以下を記入する。 from distutils.core import setup i…

「インプレッション数」と「リーチ数」の違い

広告用語の「インプレッション数」と「リーチ数」の違いについて簡単にまとめてみました。 「インプレッション」とは 広告が表示された回数です。 インプレッションは広告が表示されるたびに何度でもカウントされます。 「リーチ」とは 広告、または投稿を見たユーザーの数です。 一人のユーザーが何回広告を見ようともカウントされるのは一度だけで、純粋に広告を見た人数を表します。

yahoo ads api を使ってみる

yahoo 広告の API は、検索広告とディスプレイ広告というものがあります。 今回は、この API の使い方をまとめてみました。 API リファレンス ads-developers.yahoo.co.jp トークン取得 以下を参考にトークン情報を取得します。 ads-developers.yahoo.co.jp アクセストークン取得 https://biz-oauth.yahoo.co.jp/oauth/v1/token?grant_type=refresh_token &client_id=CLIENT_ID &client_secret=CLIENT_SECRET &refresh_t…

curl の使い方（POSTする場合）

最近 curl で API の検証を行う機会が多いのだが、オプションがいまいちわかってないのでここにメモを残します。 -d オプション（--data "データ"） データをPOSTしたのと同じように送る。 このオプションを指定した場合は "Content-Type：application / x-www-form-urlencoded" のようなデフォルトのヘッダーが含まれる。 エンコード未済のデータを扱いたい場合 エンコード未済のデータを扱いたい場合は、”--data-urlencode" オプションを使用すればエンコードしてから POST してくれる。 json データを扱いたい場合 js…

Pyinstallerでバイナリ化した実行ファイルにダイナミックリンクしているものがあったので完全に静的なライブラリ化をめざす方法

以下のサイトを参考に完全に静的なライブラリ化させた実行ファイルを作成してみました。pyinstallでシングルバイナリを作成したが、ダイナミックリンクある場合 $ ldd sample linux-vdso.so.1 (0x00007ffc529ff000) libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f33193b8000) libz.so.1 => /lib/x86_64-linux-gnu/libz.so.1 (0x00007f331939c000) libpthread.so.0 => /lib/x86_64-linux…

Pythonで作ったプログラムが crowdstrike で誤検知

Python で作成したプログラムがある日を境にセキュリティソフトに引っかかるようになってしまった。いろいろ回避策を模索しているがうまくいかず。。。 とりあえずこれまでの対応をいったんメモ。。。 状況 Windows 環境で PyInstaller を用いて exe を作成すると、ウィルス対策ソフトが誤検知して実行ファイルが削除されてしまう。 (以下のようなメッセージ) CrowdStrike Falcon Sensor a process was blocked because malicious behavior was detected . 検証内容 Windows 10 の環境で以下の…

python3.10 で pyinstaller をインストールすると _bootlocale というモジュールがないといわれる場合の対応

python3.10 で pyinstaller をインストールするとそのままビルドすると _bootlocale というモジュールがないというエラーになったためその時の対応方法を残しました。以下のコマンドを実行すると、処理の途中でエラーになってしまいます。 C:¥Users¥{xxxx}¥Desktop¥test> pyinstaller test.py --onefile ・ ・ ・ ImportError: No module named _bootlocale 対応 pyinstaller をインストール後に、3.10サポートをインストールする。 pip install pyinsta…

python の実行ファイルで動的リンクエラーを回避する

pyinstaller で python の実行ファイルを作成しても、実行環境によっては動的リンクエラーになることがある。 その場合は、staticx というツールを使って静的リンクのみの実行ファイルを作成することでエラーが回避できる。 staticx のインストールと実行 以下のコマンドでインストールします。 $ pip install staticx環境によっては patchelf もインストールが必要です。 $ pip install patchelf-wrapperstaticx は以下のように実行します。 $ staticx <pyinstallerで作成したバイナリファイル> <出…

zshで利用する [ctrl] + キー

よく忘れるけど、よく使うコマンド [ctrl] + a : 先頭に移動 [ctrl] + e : 末尾に移動 [ctrl] + r : コマンド履歴の後方検索 [ctrl] + s : コマンド履歴の前方検索 [ctrl] + p : コマンド履歴を一つ戻る [ctrl] + n : コマンド履歴を一つ進む

使っている環境のシェルを確認する方法

忘れやすい自分のためのメモ シェルを確認した場合は以下のコマンドを実行する。 $ echo $SHELL

このブログをはじめてちょうど一年

ブログをはじめてちょうど一年になりました。 こんなに続くとは思ってはいなかった...第一回目の投稿 a1026302.hatenablog.com最近はゲーム作りができてないのが、少し残念...それと最近のアクセス傾向を久々に確認してみました。 ほぼGoogle... それと、嬉しい誤算が... なんとGoogle Adsenseが8000円超えていた... たまに確認してみると数円しか増えないから、そんなもんかと思ってたけど... ちょっと嬉しい。 でも...1年で8000円かぁ...ブログでお金を得るのは大変だなぁとしみじみ思いました。 これからもだらだらブログライフを楽しむぞ...

Githubでファイル名で検索を行う方法

githubでファイル名の検索をしたい場合について調べてみました。以下の手順で検索できるみたいです。 プロジェクトのトップ画面またはブランチの画面を開く キーボードの「t」キーを押して、ファイル名での検索画面を開く ファイル名を入力する

composerを使ってみる

composerはphpのライブラリ管理ツールです。 composerイントール 公式サイト getcomposer.orgMacの場合はbrewでインストールできます。 % brew install composer 動作確認 Vオプションでバージョンの確認が行えます。 % composer -V Composer version 2.1.5 2021-07-23 10:35:47 ライブラリのインストール インストールするには「composer install」コマンドを使用します。 % composer install

ubuntuでpyinstallerを使ったらエラーが出た困った話

ubuntuの環境でpyinstallerを使ったら以下のエラーが出てきました。 OSError: Python library not found: libpython3.9mu.so.1.0, libpython3.9m.so.1.0, libpython3.9.so.1.0, libpython3.9.so, libpython3.9m.so This would mean your Python installation doesn't come with proper library files. This usually happens by missing development…

PyInstallerを使ってみる

pythonスクリプトの配布を検討していたのですが、環境構築が手間なので PyInstaller を使ってWindows用の exeファイルを配布することを検討してみました。 PyInstallerインストール pip で pyinstaller をインストールします。 $ pip install pyinstaller exeファイルへの変換 $ pyinstaller sample.py 実行結果 exeファイル化に成功すると、以下のメッセージと作業フォルダが生成されます。 16343 INFO: Building COLLECT COLLECT-00.toc completed succ…

windows環境でCP932以外のファイルを開こうとしたらエラーになった話(python)

windows環境でpythonのスクリプトを作成していたらutf-8のファイルを開こうとしたら以下のようなエラーが出た。 UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 0: illegal multibyte sequenceファイルを開こうとした処理は以下のような感じ... try: f = open(os.environ.get("SAMPLE_ELEMENT"), 'r') self.element = json.load(f) except: raise ExpectedError("the …

seleniumでMessage: newSessionというエラーが出る

webdriver.Firefoxを使っていたら以下のようなエラーが出ました。 WebDriverException: Message: newSession以下を参考に対応方法を検討 stackoverflow.com以下のサイトから最新の geckodriver をダウンロードして差し替えたらエラーを回避することができました。 github.com 参考 www.htmlhifive.com

unicode error “unicodeescape”というエラーの回避方法

windows環境でpythonのプログラムを作成していたら以下のようなエラーに遭遇した。 SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape エラーの場所 5行目の「binary_location」のパスの指定部分でエラーが発生したようでした。。。 from selenium import webdriver from selenium.webdriver.firefox.options import Options…

cronからpythonで作ったseleniumのコードを実行したら動かなかった時の話...

cronからpythonで作ったseleniumのコードを動かしたら以下のようなエラーが出た。 Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/Selenium/webdriver/common/service.py", line 76, in start stdin=PIPE) File "/Library/Frameworks/Python.framework/Versions/3.6/lib/pyth…

macでcronを使おうとしたら「[Errno 1] Operation not permitted」というエラーが出てしまっとときの対応

MacでPythonのプログラムをcronから実行させようとしたところ、以下のメッセージが出て処理が失敗していた。 crontabの内容 0,30 * * * * /Users/{{user}}/.pyenv/shims/python /Users/{{user}}/Desktop/sample.py >> /Users/{{user}}/Desktop/err.log 2>&1 err.logの内容 python: can't open file '/Users/{{user}}//Desktop/sample.py': [Errno 1] Operation not permitted 回…