ジャコ Lab

IP-Adapter の GitHub リポジトリから ip_adapter-full-face_demo の生成を試してみる (3)

もう少し ip-adapter-full-face_sd15 で遊んでみます

2024/05/17 22:52

IP-Adapter の GitHub リポジトリから ip_adapter-full-face_demo の生成を試してみる (2)

早速前回の続きをやっていきます。 今回は、IP-Adapter に利用する画像は同じものを使用し、 プロンプトの変更 や モデルの変更 のみで、顔の雰囲気を維持したまま異なる絵を生成します。

2024/05/16 22:34

IP-Adapter の GitHub リポジトリから ip_adapter-full-face_demo の生成を試してみる

zako-lab929.hatenablog.com さて、前回は diffusers のドキュメント から IP-Adapter の Face Model というものを使ってみました。具体的には ip-adapter-full-face_sd15 を使わせていただきました。 今回は GitHub リポジトリ から ip_adapter-full-face_demo を読み解きながら diffusers に置き換えてみようと思います。「読み解きながら」というのは恐らく GitHub リポジトリのソースコードは diffusers に実装される前のデモになっているため load_ip_adapt…

2024/05/15 23:20

IP-Adapter の Face Model を試してみる

huggingface.co IP-Adapter には顔を生成するように特別にトレーニングされたモデルがあるようです。 この記事では Hugging Face のドキュメント を参考に ip-adapter-full-face_sd15 を使ってみます。

2024/05/14 22:54

IP-Adapter の基本形(General Tasks)を SD1.5 版でやってみる

前回、チャレンジして Text-to-Image , Image-to-Image , Inpaint 全てにおいてメモリ不足によるクラッシュが発生しました。 原因としては、サンプルコードが SDXL 系の IP-Adapter となっており、パイプラインを実行する以前に IP-Adapter のロードを突破することができませんでした。 そこで、SDXL 系ではなく SD1.5 系に置き換えて実行してみようと思います。

2024/05/13 23:14

IP-Adapter の基本形(General Tasks)を使ってみる

この記事では、ドキュメントに含まれる General Tasks を進めていこうと思いましたが、ほとんどのサンプルコードが SDXL 向けの IP-Adapter となっていて、 IP-Adapter をロードを実行中にセッションがクラッシュしてしまうことがわかりました。 メモリ不足。。。 悲しみです。 IP-Adapter で SDXL 系を動かすことは今の状態では叶わなぬ願いかもしれないです。 唯一 AnimateDiff x IP-Adapter のサンプルコードだけ SD1.5 系統だったため、クラッシュせずに実行ができましたので、この記事ではその1つだけを進めていきます。

2024/05/10 23:02

ピッコロ記念日なのでピッコロ大魔王を生成したかったけど LoRA が見つからなかったので結局 IP-Adapter の記事になった件

とりあえず、昨日の記事同様、タイトルはすごい長いラノベ風にできたのは良いとして、、、 前回の IP-Adapter の記事に引き続き diffusers v0.24.0 のリリースノート に沿って IP-Adapter を使ってみる回になります。 前回は、 IP-Adapter を差し込んで LCM LoRA を併用していました。 今回は、 ControlNet を併用する形になります。

2024/05/09 23:15

IP-Adapter を触るつもりだったけど日付を見たら5月8日だったので悟飯を生成していた件

IP-Adapter の続きやろーって思ったのですが、日付を見て気づいてしまいました。 あ、、、明日はピッコロ記念日だ。。。 つまり、今日は悟飯の日でしたので、急いで Civitai で検索しました！ こちらを採用。やっぱ超サイヤ人2っていいよね！

2024/05/08 23:07

IP-Adapter を使ってみる - LCM LoRA を併用

github.com ゴールデンウィークはほとんどPCを触らず、デジタルデトックス状態でした。 そんな中、ようやく到着しました。IP-Adapter ！！ どうやら IP-Adapter と一口に言ってもなんか色々な種類がありそうな予感。 何にせよ、触っていかないと進まないですからね。 色々調べるのは後にして、とりあえず触ってみます。

2024/05/07 23:12

SDXL-Turbo

この記事では diffusers v0.24.0 のリリースノート から SDXL-Turbo を使ってみます。 1ステップで出力できるくらいターボ！

2024/05/02 23:14

動画生成の振り返りとStable Video Diffusion

github.com ついに Stable Video Diffusion まで到達しました。 diffusers v0.24.0 は Stable Video Diffusion もあるし IP-Adapter もあるし、凄い楽しそうです まずは Stable Video Diffusion から触っていきますが、過去にやった動画生成も振り返ってみます。

2024/05/01 23:34

Consistency Decoder とやらを使ってみる

github.com Consistency Decoder は diffusers v0.23.0 で入った機能と思われます。 何それ？

2024/04/30 23:29

LCM LoRA も使っとく

前回の記事では LCM (Latent Consistency Model) を使ってみました。 v0.22.0 の時点では、 DiffusionPipeline に指定するモデルが LCM 対応のモデルとなっていました。 恐らくこれでは、LCMに対応したモデルしか使えず、既存モデルは使えないと思っています。 しかし v0.23.0 で、LCM が LoRA として設定が可能になりました。 これにより、Pipeline に指定するモデルは好きなものを使えるはず！ ちなみに AnimateLCM では、LoRA を使い LCM を適用していたので Pipeline のモデルは好きなものを使えまし…

2024/04/26 23:28

AnimateLCM を先に使っていて、すっ飛ばしちゃったけど普通の LCM を使っとく

前回の記事まで長いこと AnimateDiff で遊んでいました。 AnimateDiff を触れる中で AnimateLCM に触れ、LCM という技術を AnimateDiff の中で触れていました。 今更ですが普通の LCM (Latent Consistency Model) を使ってみます。 こちらも AnimateDiff 同様 v0.22.0 のリリースノートから触れていきます。 少ないステップ数で高品質の画像を出力できるアレ！

2024/04/25 23:43

AnimateLCM の出力では LCMScheduler とか大事！

偶然ですが、 AnimateLCM を触っていて気付いたことがあります。 「 LCMScheduler 大事！」 たぶんこれは、 AnimateDiff だけじゃなくて LCM 系で重要な気がしてきます。 他の LCM はまだ触っていないので知らんけど 少なくとも diffusers v0.22.0 で紹介されていた LCM のモデルでは LCMScheduler が使われていそうでした。

2024/04/24 23:29

AnimateDiff と AnimateLCM を比較する！

今回は比較回です。 AnimateLCM は少ないステップ数で高品質な画像が出力できるということですので、 ステップ数を「4」に固定して比較してみます。 テスト番号 MotionAdapter AnimateLCM LoRA 備考 1 wangfuyun/AnimateLCM 有 前回の記事と同じ 2 wangfuyun/AnimateLCM 無 3 guoyww/animatediff-motion-adapter-v1-5-2 有 4 guoyww/animatediff-motion-adapter-v1-5-2 無 普通の AnimateDiff と同じ 比較パターンはこんな感じ？

2024/04/23 23:21

AnimateLCM を使ってみた

この記事では AnimateLCM に触れていきます。 LCM は初めて登場するキーワードですが、併せて調べていきます。 リリースノートの一番上にあったけど既読スルーしてたやつ

2024/04/22 23:37

とりあえず Seed (Generator) を設定しておくというマイブーム

Stable Diffusion を使うときに Seed という言葉が出てくると思います。この Seed は出力ごとに異なり、予め Seed を指定しておくことで (同じ条件であれば) 出力を固定することができます。 逆に Seed を指定しなければ、同じ条件でも、いつもランダムな出力になります。 今回は、この「ランダム出力」でも とりあえず Seed を設定しておこう というマイブームな記事です。

2024/04/19 23:13

FreeInit を比較するよ！

zako-lab929.hatenablog.com 前回の記事では FreeInit というものを有効にして AnimateDiff を出力してみました。この記事では FreeInit を有効にしたときと無効にしたときとでどう変わるのか比較してみようと思います。 また、 enable_free_init() には method という引数があり、出力が変わりそうなので触ってみようと思います。

2024/04/18 23:31

FreeInit って何じゃろ？

AnimateDiff のドキュメントの中に Using FreeInit という項目があります。 FreeInit is an effective method that improves temporal consistency and overall quality of videos generated using video-diffusion-models without any addition training. It can be applied to AnimateDiff, ModelScope, VideoCrafter and various other video …

2024/04/17 23:26