【PyCharm】Docker Compose Interpreterが動かなくなった

2021年の終わり頃から急にPycharmのdocker compose interpreterが上手く動かなくなってきました。 具体的には 新たにinterpreterを追加した際 skeltonを更新しようとした際 などにエラーが起こるようになりました。 たまにしか起こらなかったり数日経つと動いたりなど、中々振り回されたのですが同じような人がいるかも知れないと思ったので残しておきます。 なお、 …

【AWS Amplify】チュートリアルの先へ行くときに参考にするサイト

皆さんAWS Amplifyは使ってますか？ 簡単なCLIコマンドを使うことでWebアプリケーションのバックエンドが作れるという優れものです。 （Cloudformationが出来上がるのでIaCにもなるし、CI/CD的なことも出来るすげえやつ） ただ、チュートリアルを終えて現実のものを作ろうとすると、まだまだ情報が少ないのが現実です。 チュートリアルをやってみたという記事は沢山世に出回っているの …

【AWS】aws cli でCognito ユーザープールのユーザー情報を編集する方法

あまりサンプル充実していなかったので備忘として残しておきます。 目次 1. 環境2. やりたいこと3. やり方4. 公式ドキュメント 環境 aws-cli/2.1.37 Python/3.8.8 やりたいこと Cognitoユーザープールの画面からユーザー登録をしたものの、画面から属性情報の編集が出来なかったので簡易的にユーザーの属性情報を編集できる方法が欲しかった。 公式ドキュメントやサンプルを …

りんなが公開した文章生成モデル「GPT2」試してみた（ソース付き）

先日株式会社りんなが、学習済みのGPT2のモデルを公開してくれていましたね！ 目次 1. 環境2. 実際に文章を生成してみた 環境 Docker環境で実行しています。 以下のように必要なライブラリをインストールしておきます。 [crayon-607043d14951b878946408/] ※CPUで実行していますが、かなり重いので可能であればGPU環境で実行することが望ましいです。 実際に文章を …

【機械学習】古いtransformersでも最新のBERTの日本語学習済みモデルを使いたかった

日本語の学習済みモデルを使用する際は、東北大学が公開してくれている学習済みのモデルを使用することが一般的だと思います（多分）。 そんな状況が続いていたのですが、当然ながら学習データもやや古くなり新しい使われ方をし始めた言葉（コロナなど）に対して、精度が下がるようになっている現状がありました。 ということで、新しい学習済みのモデルを探していたのですが、その導入で躓くポイントが有ったので知見として残し …

【Flutter】Chromeで起動/デバックできない問題を解決する

久しぶりに勉強中のFlutterを触っていて、ChromeでFlutterWebの開発中の画面を確認しようとしたときです。 目次 1. 現象2. 解決策 現象 真っ白な画面が映り（何も写っていない）おかしいぞと思ってF12で確認したところ以下のエラーが出ました。 [crayon-601962e73d745062531092/] 解決策 解決策はシンプルです。 [crayon-601962e73d7 …

【PyCharm】ファイルを消したはずなのに参照出来てしまう問題を解決する

目次 1. 起きたこと2. 原因3. 解決策 起きたこと 以前からたまーに発生していたのですが、本来import出来ないはずのモジュール等がimport出来るように見えてしまう状態が発生しました。 存在しないファイルがPycharm上ではimport出来ると判定される 実際に実行するともちろんエラーになる PyCharmの警告と実情が一致しないので開発効率が非常に悪い といったような状態です。 原 …

【FastAPI】backgroundtasksが同期的に実行される場合

目次 1. 環境2. 同期的に実行される（非同期実行にならなかった）コード3. 良くある想定通り非同期実行されるコード4. 非同期にならない理由(推測)5. 解決策6. 参考 環境 [crayon-60129ccd176e4383505276/] 同期的に実行される（非同期実行にならなかった）コード 以下のような感じでFastAPIのbackgroundtaskを活用して、非同期に処理を行おうとし …

【AWS】WindowsでAWS ECRへのpush時のエラー対処

目次 1. 起きたこと2. 対処方法 起きたこと どのタイミングから発生しているのかわかりませんが、普段と同じ手順でpushしようとしたのに突然AWS ECRへDocker imageのpushが出来なくなっていました。 [crayon-5fd0a4b3a4960648134751/] エラーの内容を調査してみると、どうやらAWSが返す認証情報がWindowsには長すぎて受け付けられないことが原因 …

【Docker】Hyper-VからWSL2に移行した際に古い環境を削除する方法

とうとう私のWindowsでもwindows 1909がやってきて、WSL2バックエンドのDockerが使えるようになりました。 動作が軽快だったり、WSL2上にファイルを置けるためLinuxコマンド色々操作出来たりと希望に満ち溢れています。 しかし、インストール直後に異常にディスク容量を圧迫した状態になっていたため対処しました。 目次 1. ディスクを圧迫した原因2. 不要なファイルをどんどん削 …

【Pandas】pd.Seriesを全部同じ値で更新する方法

DataFrameのノリでやろうとしたら上手く行かずにちょっと詰まったのでメモです。 目次 1. NG例2. ならばこうやる NG例 [crayon-5efea1c302ee0369114114/] DataFrameを経由する場合だと、 [crayon-5efea1c302ee7626277697/] のような形で指定できるので出来るんじゃないかなー、と思ったのですが駄目でした。 seriesと …

【機械学習】Optuna1.3.0以上での探索空間定義の種類

Preferred Networks社が開発しているオープンソースのハイパーパラメータ自動最適化フレームワークOptunaについての記事となります。 目次 1. Optunaとは2. 探索空間の定義について Optunaとは 公式サイト ハイパーパラメータの値に関する試行錯誤を自動化し、優れた性能を発揮するハイパーパラメータの値を自動的に発見します。オープンソースの深層学習フレームワークChain …

【リモートワーク】HBADAのオフィスチェアを買ってみた

今更感があるとかないとか色々な話はありますが、HBADAのオフィスチェアを買ってみました。 僕が購入した商品は、こちらの商品となります。 Hbada ハイバック オフィスチェア メッシュ – デスクチェア オットマン付き まだ使い始めて間もない段階ですが、割といい感じなので紹介していきたいと思います。 目次 1. HBADAとは2. 高級オフィスチェアに引けを取らない機能性3. 開封・ …

【Python】file-like objectのType hint

目次 1. 結論2. 参考 結論 「typing.IO」もしくは、これを継承したクラスの typing.TextIO typing.BinaryIO を使う。 もう何回も調べて意外と時間がかかってるので残しておきたいと思います。 参考 https://stackoverflow.com/questions/38569401/type-hint-for-a-file-or-file-like-obj …

【AWS】presigned URLsを使おうとしたらSignatureDoesNotMatchが出たときの対処

AWSのファイルストレージであるS3(Simple Storage Service)には一時的にユーザーにアップロードやファイル閲覧が出来るようになる、presigned URLs（署名付きURL）を発行する機能が存在します。 このpresigned URLsの発行にあたっては、色々な先駆者の方々が記事を書いてくださっていますが、この発行されたpresigned URLsを使う側の記事は殆ど見当た …

【機械学習】CNNをざっくり把握したかった

CNNの概要 Convolutional Neural Network の頭文字を取ったもの 日本語では、畳み込みニューラルネットワークと言われる 画像認識のために強さを持つ手法 (画像認識以外への応用レもあり。https://pao2.hatenablog.com/entry/2018/08/04/183937) 2012年の画像認識コンペで一気に注目を浴びた手法 AI/ディープラーニングブーム …

【JavaScript】Docker上でのnpm/yarnの操作を10倍早くする方法

Dockerでnpm install とか yarn install をすると何か遅いなあと感じたことはないでしょうか？ 私はDocker環境上でしかnpmやyarnを使っていなかったので中々気が付かなかったのですが、 先日友人のエンジニアにお前のdocker-comoseいけてないから変えたほうがいいよ、と教えてもらいました。 誇張抜きに10分かかっていた初期のモジュールのインストールが1分未満 …

プログラマーがUSキーボードに乗り換えて最初にやるべき3つのこと

満を持してJISキーボードからUSキーボードへ乗り換えた人。いらっしゃいませ。 なお、筆者の環境はWindows10 Proです。 目次 1. USキーボードのメリット2. USキーボードを使う際にやっておくと良いこと2.1. キーボードの設定をUS配列に変更する2.2. 日本語/英語の入力切り替えの割当2.3. 記号入力の違いに適応する USキーボードのメリット USキーボード良いですよね。乗り …

【リモートワーク】高級キーボードと高級マウスで効率的で疲れない仕事を目指してみた。

皆さんこんにちは。 緊急事態宣言の収束ももう少しという所まで来ていますが、リモートワークが継続されるような会社も多いのではないでしょうか。 私が勤めている会社でも、緊急事態宣言が終わってすぐに出社したらあんまり意味ないよね。ということで引き続きリモートワーク体制が続いて行くとなっています。 まあもはやそのままずっとリモートで全然良いんですけどね… さて、そんなこんなでリモートワークを行 …

GitHub Desktop Version 2.4.2 でfetch/pull/push 等が出来ない場合の対処

ふとGitHub Desktopを起動したらリモート（Github）との接続が弾かれるようになっていました。 目次 1. 環境2. 事象3. 4. 解決方法5. 原因6. 参考 環境 Windows10 Pro Gihub Desktop Version 2.4.2 git version 2.26.0.windows.1 事象 以下のようなエラーが出てpush/pull等ができなくなった。 &n …