IP-Adapter の GitHub リポジトリから ip_adapter-full-face_demo の生成を試してみる (3)

もう少し ip-adapter-full-face_sd15 で遊んでみます

IP-Adapter の GitHub リポジトリから ip_adapter-full-face_demo の生成を試してみる (2)

早速前回の続きをやっていきます。 今回は、IP-Adapter に利用する画像は同じものを使用し、 プロンプトの変更 や モデルの変更 のみで、顔の雰囲気を維持したまま異なる絵を生成します。

IP-Adapter の GitHub リポジトリから ip_adapter-full-face_demo の生成を試してみる

zako-lab929.hatenablog.com さて、前回は diffusers のドキュメント から IP-Adapter の Face Model というものを使ってみました。具体的には ip-adapter-full-face_sd15 を使わせていただきました。 今回は GitHub リポジトリ から ip_adapter-full-face_demo を読み解きながら diffusers に置き換えてみようと思います。「読み解きながら」というのは恐らく GitHub リポジトリのソースコードは diffusers に実装される前のデモになっているため load_ip_adapt…

IP-Adapter の Face Model を試してみる

huggingface.co IP-Adapter には顔を生成するように特別にトレーニングされたモデルがあるようです。 この記事では Hugging Face のドキュメント を参考に ip-adapter-full-face_sd15 を使ってみます。

IP-Adapter の基本形(General Tasks)を SD1.5 版でやってみる

前回、チャレンジして Text-to-Image , Image-to-Image , Inpaint 全てにおいてメモリ不足によるクラッシュが発生しました。 原因としては、サンプルコードが SDXL 系の IP-Adapter となっており、パイプラインを実行する以前に IP-Adapter のロードを突破することができませんでした。 そこで、SDXL 系ではなく SD1.5 系に置き換えて実行してみようと思います。

IP-Adapter の基本形(General Tasks)を使ってみる

この記事では、ドキュメントに含まれる General Tasks を進めていこうと思いましたが、ほとんどのサンプルコードが SDXL 向けの IP-Adapter となっていて、 IP-Adapter をロードを実行中にセッションがクラッシュしてしまうことがわかりました。 メモリ不足。。。 悲しみです。 IP-Adapter で SDXL 系を動かすことは今の状態では叶わなぬ願いかもしれないです。 唯一 AnimateDiff x IP-Adapter のサンプルコードだけ SD1.5 系統だったため、クラッシュせずに実行ができましたので、この記事ではその1つだけを進めていきます。

ピッコロ記念日なのでピッコロ大魔王を生成したかったけど LoRA が見つからなかったので結局 IP-Adapter の記事になった件

とりあえず、昨日の記事同様、タイトルはすごい長いラノベ風にできたのは良いとして、、、 前回の IP-Adapter の記事に引き続き diffusers v0.24.0 のリリースノート に沿って IP-Adapter を使ってみる回になります。 前回は、 IP-Adapter を差し込んで LCM LoRA を併用していました。 今回は、 ControlNet を併用する形になります。

IP-Adapter を触るつもりだったけど日付を見たら5月8日だったので悟飯を生成していた件

IP-Adapter の続きやろーって思ったのですが、日付を見て気づいてしまいました。 あ、、、明日はピッコロ記念日だ。。。 つまり、今日は悟飯の日でしたので、急いで Civitai で検索しました！ こちらを採用。やっぱ超サイヤ人2っていいよね！

IP-Adapter を使ってみる - LCM LoRA を併用

github.com ゴールデンウィークはほとんどPCを触らず、デジタルデトックス状態でした。 そんな中、ようやく到着しました。IP-Adapter ！！ どうやら IP-Adapter と一口に言ってもなんか色々な種類がありそうな予感。 何にせよ、触っていかないと進まないですからね。 色々調べるのは後にして、とりあえず触ってみます。

SDXL-Turbo

この記事では diffusers v0.24.0 のリリースノート から SDXL-Turbo を使ってみます。 1ステップで出力できるくらいターボ！

動画生成の振り返りとStable Video Diffusion

github.com ついに Stable Video Diffusion まで到達しました。 diffusers v0.24.0 は Stable Video Diffusion もあるし IP-Adapter もあるし、凄い楽しそうです まずは Stable Video Diffusion から触っていきますが、過去にやった動画生成も振り返ってみます。