IP-Adapter を触るつもりだったけど日付を見たら5月8日だったので悟飯を生成していた件

IP-Adapter の続きやろーって思ったのですが、日付を見て気づいてしまいました。 あ、、、明日はピッコロ記念日だ。。。 つまり、今日は悟飯の日でしたので、急いで Civitai で検索しました！ こちらを採用。やっぱ超サイヤ人2っていいよね！

IP-Adapter を使ってみる - LCM LoRA を併用

github.com ゴールデンウィークはほとんどPCを触らず、デジタルデトックス状態でした。 そんな中、ようやく到着しました。IP-Adapter ！！ どうやら IP-Adapter と一口に言ってもなんか色々な種類がありそうな予感。 何にせよ、触っていかないと進まないですからね。 色々調べるのは後にして、とりあえず触ってみます。

SDXL-Turbo

この記事では diffusers v0.24.0 のリリースノート から SDXL-Turbo を使ってみます。 1ステップで出力できるくらいターボ！

動画生成の振り返りとStable Video Diffusion

github.com ついに Stable Video Diffusion まで到達しました。 diffusers v0.24.0 は Stable Video Diffusion もあるし IP-Adapter もあるし、凄い楽しそうです まずは Stable Video Diffusion から触っていきますが、過去にやった動画生成も振り返ってみます。

Consistency Decoder とやらを使ってみる

github.com Consistency Decoder は diffusers v0.23.0 で入った機能と思われます。 何それ？

LCM LoRA も使っとく

前回の記事では LCM (Latent Consistency Model) を使ってみました。 v0.22.0 の時点では、 DiffusionPipeline に指定するモデルが LCM 対応のモデルとなっていました。 恐らくこれでは、LCMに対応したモデルしか使えず、既存モデルは使えないと思っています。 しかし v0.23.0 で、LCM が LoRA として設定が可能になりました。 これにより、Pipeline に指定するモデルは好きなものを使えるはず！ ちなみに AnimateLCM では、LoRA を使い LCM を適用していたので Pipeline のモデルは好きなものを使えまし…

AnimateLCM を先に使っていて、すっ飛ばしちゃったけど普通の LCM を使っとく

前回の記事まで長いこと AnimateDiff で遊んでいました。 AnimateDiff を触れる中で AnimateLCM に触れ、LCM という技術を AnimateDiff の中で触れていました。 今更ですが普通の LCM (Latent Consistency Model) を使ってみます。 こちらも AnimateDiff 同様 v0.22.0 のリリースノートから触れていきます。 少ないステップ数で高品質の画像を出力できるアレ！

AnimateLCM の出力では LCMScheduler とか大事！

偶然ですが、 AnimateLCM を触っていて気付いたことがあります。 「 LCMScheduler 大事！」 たぶんこれは、 AnimateDiff だけじゃなくて LCM 系で重要な気がしてきます。 他の LCM はまだ触っていないので知らんけど 少なくとも diffusers v0.22.0 で紹介されていた LCM のモデルでは LCMScheduler が使われていそうでした。

AnimateDiff と AnimateLCM を比較する！

今回は比較回です。 AnimateLCM は少ないステップ数で高品質な画像が出力できるということですので、 ステップ数を「4」に固定して比較してみます。 テスト番号 MotionAdapter AnimateLCM LoRA 備考 1 wangfuyun/AnimateLCM 有 前回の記事と同じ 2 wangfuyun/AnimateLCM 無 3 guoyww/animatediff-motion-adapter-v1-5-2 有 4 guoyww/animatediff-motion-adapter-v1-5-2 無 普通の AnimateDiff と同じ 比較パターンはこんな感じ？

AnimateLCM を使ってみた

この記事では AnimateLCM に触れていきます。 LCM は初めて登場するキーワードですが、併せて調べていきます。 リリースノートの一番上にあったけど既読スルーしてたやつ

とりあえず Seed (Generator) を設定しておくというマイブーム

Stable Diffusion を使うときに Seed という言葉が出てくると思います。この Seed は出力ごとに異なり、予め Seed を指定しておくことで (同じ条件であれば) 出力を固定することができます。 逆に Seed を指定しなければ、同じ条件でも、いつもランダムな出力になります。 今回は、この「ランダム出力」でも とりあえず Seed を設定しておこう というマイブームな記事です。

FreeInit を比較するよ！

zako-lab929.hatenablog.com 前回の記事では FreeInit というものを有効にして AnimateDiff を出力してみました。この記事では FreeInit を有効にしたときと無効にしたときとでどう変わるのか比較してみようと思います。 また、 enable_free_init() には method という引数があり、出力が変わりそうなので触ってみようと思います。

FreeInit って何じゃろ？

AnimateDiff のドキュメントの中に Using FreeInit という項目があります。 FreeInit is an effective method that improves temporal consistency and overall quality of videos generated using video-diffusion-models without any addition training. It can be applied to AnimateDiff, ModelScope, VideoCrafter and various other video …

AnimateDiff の モーション LoRA を複数組み合わせて使ってみる

モーション LoRA は複数を組み合わせて使うことが可能なようです。 例えばズームアウトとスライドを組み合わせて使う感じ この記事では、再び AnimateDiffPipeline を使い、モーション LoRA を組み合わせて使ってみます。

AnimateDiffVideoToVideoPipeline で Video-to-Video をする

AnimateDiffPipeline で Text-to-Video をしていましたが、 AnimateDiffVideoToVideoPipeline を使うと Video-to-Video ができるようになります。 huggingface.co これは Hugging Face のドキュメントに使用方法が載っていましたので触ってみます。

AnimateDiff のリポジトリに居たマヌルネコが可愛すぎたのでいっぱい出力してみた

AnimateDiff をたくさん調べてて見つけた https://animatediff.github.io にいた猫が可愛すぎたので マヌルネコ LoRA を使ってみました。 この記事では AnimateDiff は触りません！ ぬこを触ります！！ 使用したモデル等は以下になります。 ・リアル系モデルから yayoi_mix ・イラスト系モデルから MeinaMix ・そして マヌルネコ LoRA それでは、、、 猫まみれ～

• #猫

diffusers の AnimateDiff で Scheduler を調整してみる (3) - 比較してみる

前回 、前々回 と beta_schedule="linear" を付与した状態出力しました。これは出力画像を鮮やかに出したかったからです。 今回は timestep_spacing="linspace" のパラメータを使ったり使わなかったり、 beta_schedule="linear" のパラメータを使ったり使わなかったりして比較してみようと思います。 パラメータのパターンは以下のように考えています。 テストケース番号 timestep_spacing beta_schedule 備考 1 未設定 未設定 2 linspace 未設定 リリースノートと同じ 3 未設定 linear 前回の…

diffusers の AnimateDiff で Scheduler を調整してみる (2) - MeinaMix

zako-lab929.hatenablog.com 前回の記事では ToonYou のモデルを使用して、 AnimateDiff を実行する際のスケジューラーのパラメータを調整しました。 この記事では更に別のモデルも試してみます。 いつもの MeinaMix で！

diffusers の AnimateDiff で Scheduler を調整してみる

zako-lab929.hatenablog.com 前回の記事で以下のようなことを書きました。 でも、もうちょっとdiffusers v0.15.0 の Text-to-Video Zero を Google Colab で使ってみる - ジャコ Labの時みたいに、おぉーー！！っていう感じのが出てほしいな。スケジューラの問題？GitHub 版も試してみようかな？ 理由としては、以下のように低画質な感じなところです。 前回出力した ToonYou の AnimateDiff これはこれで味があって良いと思いますが、ギャラリーにあるようなもっと彩度の高いものが出したいです。 こんな感じのやつ …

diffusers の AnimateDiff で Motion LoRA を使ってみる

前回、LoRA で「PEFT backend is required for this method」なエラーにハマりましたが、無事にこの記事に進めるようになりました。 Motion LoRA (モーション LoRA) で何ができるかというと、 AnimateDiff にズームインやズームアウトなどの動きを加えることができます。 早速使ってみようと思います。