わかりにくかった! CosineAnnealingLR ! (コサインアーリニング)
SD1.5系のときはすごい過学習すると言われて持て余されてたProdigyオプティマイザー SDXLになってとても早くLoRAが出来上がるということで脚光を浴びた そこで推奨してるスケジューラーがスケジューラーを使わないconstantかCosineAnnealing constantはいいとしてCosineAnnealingLRはsd-scriptsのデフォルトで入ってないからじぶんで対応する必要があるし挙動を理解するのが手間だった 使い方 bmaltais/kohya_ssを使ってるのでAdditional parametersのところに下記を入力 --lr_scheduler_type …
2024/05/19 15:35
