プログラミング関連のメモ帳的ブログです。 調べたものは後でまとめようとメモしているのですが、メモ止まりで全然やらないので調べたときに書こうと思います。
help.hatenablog.com ぐぬぬ。。。 もっと早く知りたかったです。 いつも Markdown で書いているのですが、特殊なものを出すときは、いつも別タブで「雛形用の下書き」を開きに行ってからコピペしてました。。。 もっと早く知りたかったです。 (大事なことなので2回)
github.com diffusers v0.20.0 で対応された GLIGEN (Grounded Language-to-Image GENeration) を試してみます。 GLIGEN はバウンディングボックスとその矩形に対するキャプションを用いて、プロンプト＋キャプション付き矩形で Text-to-Image を行うようです。
設定画面 猫モード！！ チェックを付けて保存してみたところ、最初何も起こらないなぁ？って思ってました。 そのまま放置していると、画面上部に猫が歩いてきました。 画面上部に猫が歩いている様子 猫の種類 猫の種類 眺めていたところ、猫は5種類居そうな雰囲気です。 実は隠しキャラがいるかもしれません。 他のモード コーギーモード・猫モード・カニモード モードはラジオボタンではなくチェックボックスのため複数選択できます。 コーギーとカニも出てきます。 パワーレベル これは、タイピングをしてコンボになるとエフェクトが付くやつです。 まとめ 右上の「歯車」ボタンから「その他」を選択することでこの設定画面に…
T2I-Adapter をもっと色々使ってみる (SDXL 1.0)
今回の記事は SDXL 1.0 向けの T2I-Adapter です。 SDXL はメモリ消費量が多い分、やっぱり高品質ですね。 ControlNet のときにはやらなかったけど、T2I-Adapter は SDXL 版を試してみました。
T2I-Adapter をもっと色々使ってみる (SD 1.5)
前回の記事で SD 1.4 向けの T2I-Adapter をまとめました。 今回の記事では SD 1.5 向けで生成した画像と SD 1.4 向けで生成した画像を比較してみます。
うなぎ zako-lab929.hatenablog.com 前回の記事で T2I-Adapter というものを使ってみました。この記事では、ControlNet と比較しながらもっと色々な T2I-Adapter を使ってみようと思います。 ControlNet のときは1つ1つ丁寧に書いたけど、また1つ1つやるのは面倒なので一気にやりました！でも、SD 1.4 のやつだけで結構たいへんだったので SD 1.5 向けは次回がんばります。
github.com この記事では diffusers v0.19.0 の T2I Adapter について試していこうと思います。T2I Adapter は Text-to-Image の アダプター という感じでしょう。 ザックリ言うと ControlNet みたいなもの っぽいです。 SDXLとかAutoPipelineはこのバージョンで登場したのかぁ
diffusers v0.17.0 の UniDiffuser を使ってみる
github.com この記事では diffusers v0.17.0 のリリースノートにある UniDiffuser というものを使ってみます。 UniDiffuser introduces a multimodal diffusion process that is capable of handling different generation tasks using a single unified approach Google 翻訳によると UniDiffuser は、単一の統一されたアプローチを使用してさまざまな生成タスクを処理できるマルチモーダル拡散プロセスを導入します。 と記…
diffusers v0.15.0 の Text-to-Video Zero と ControleNet の OpenPose を併用する (2)
zako-lab929.hatenablog.com 前回の記事で、 Text-to-Video Zero と ControlNet の併用で「CUDA out of memory」になってしまい断念しましたが、OutOfMemory なのでメモリ使用量を少しでも減らせないかと少しパラメータを変更したところ、なんと動くようになったので、続きです。
diffusers v0.15.0 の Text-to-Video Zero と ControleNet の OpenPose を併用する
zako-lab929.hatenablog.com 前回の記事で Text-to-Video Zero で動画生成をしました。 Text-to-Video Zero は Text-to-Video だけでなく、なんと ControlNet も併用できるようです。diffusers の ControlNet は全種類使ってみましたので、凄さを知ってます！ どんな動画が出力されるのか楽しみです。 と意気揚々と記事の方を書き始めながら、 スクリプトも並行して試し始めたのですが、残念ながら以下の通りです。 OutOfMemorryError CUDA out of memory になってしまい出力ま…
diffusers v0.15.0 の Text-to-Video Zero を Google Colab で使ってみる
TextToVideoZeroPipeline x Minea/MeinaMix_V11 zako-lab929.hatenablog.com diffusers v0.15.0 には上記で使用した Text-to-Video 以外に Text-to-Video Zero というものが紹介されていました。 github.com この記事では Text-to-Video Zero を Google Colab で使ってみようと思います！
diffusers v0.15.0 の Text-to-Video を Google Colab で使ってみる
github.com huggingface.co diffuser v0.15.0 のリリースノートにある Text-to-Video を使ってみます。 今だと Stable Video Diffusion を使うのが普通なんですかね？ Stable Video Diffusion はそのうち調べるとして、まずは使ってみましょう。
diffusers v0.15.0 の Multi-ControlNet でバツポーズのオジサンを美少女にしてみる
github.com こちらのリリースノートにある ControlNet を複数使う Mutil-ControlNet で、 バッテンポーズをする美少女を作りたいと思います。
diffusers v0.15.0 の Stable UnCLIP というものを使ってみる
github.com diffuers v0.15.0 でリリースされたものは、 Text-to-Video や オーディオ生成 , Stable UnCLIP , Multi ControlNet など面白そうなもの機能がたくさんあります。 zako-lab929.hatenablog.com 以前の記事で触っていた Prompt Weighting の Compel も v0.15.0 で登場したようです。 知らなかった！ 本記事ではその中でも Stable UnCLIP を触ってみようかなと思います。 選んだ理由としては Image-to-Image のようなノリでバリエーションを増やせ…
Paint-by-Example で写っているものを差し替えてみる
さて、この前 TripoSR で Image-to-3dModel をやりましたが、また過去のキャッチアップに戻ってきました。 ControlNet も色々使い Inpaint も含め色々触ってきたので、 コントロール画像やマスク画像がどういったものかわかりました。 この記事では diffusers v0.10.0 でリリースされた Pipeline の Paint-by-Example を使ってみます。 Paint-by-Example は、 ソース画像 , マスク画像 , リファレンス画像 の3つを使って画像を生成するようです。
Redux とは、状態管理モジュールの1つで、 Fulx アーキテクチャの影響を受けて作られたものです。 Vuex の React 版みたいな感じです。 Vuex は Vue 用の状態管理モジュールです。 だいたい Store とか State などの単語が登場します Next.js プロジェクトに導入しようとしたら、 ちょっとハマったので記録に残しておきます。
Stability AI 及び Tripo AI からリリースされた TripoSR を Google Colab で使ってみる
ja.stability.ai 数日前に Stability AI 及び Tripo AI からリリースされた TripoSR というものがあります。 Image-to-3dModel にあたるようです。 普段は、diffusers 経由で Stable Diffusion を触っていて、まだ触り始めて間もないので過去のリリースノートから追って行っている感じです。ですが、個人的に昨年は Unity とか触ってたので、3D モデル生成の TripoSR は思わず飛び付き、急に最新の情報に触れることになりました。3Dモデル生成はすごいワクワクします。 早速、使わせていただきましょう！！Google…
docs.obniz.com この記事も1ヶ月ほど前のハッカソンで使用したネタです。 初めて使ったのでまとめておきます。 Grove_EarHeartRate という心拍センサーを Web アプリ上から使うときのメモです。今回は React Component として使えるようにしました。
急に diffusers 系じゃない記事になりますが、 普段は Web アプリがメインなのでこういう記事も書きます。 1ヶ月ほど前にハッカソンでハマって大変な思いをしたので、 まとめておこうと思います。
ここ最近の記事はいつも同じような内容でしたが、 ようやく diffusers の ControlNet 全14種類を終えることができました。 ControlNet Hugging Face 記事 Canny huggingface.co zako-lab929.hatenablog.com Instruct Pix2Pix huggingface.co zako-lab929.hatenablog.com Inpaint huggingface.co zako-lab929.hatenablog.com MLSD huggingface.co zako-lab929.hatenablog.co…
huggingface.co ようやく diffusers の ControlNet の最後、14個目に到達しました。 Tile というやつを使ってみます
「ブログリーダー」を活用して、ちびジャコさんをフォローしませんか？
