今回は、リクエストを頂いたのでそちらを記事にしていきます。
記事の内容は、CivitaiやHugging Faceなどで配布されているWan2.2用のLoRAの使用方法についてです。
各サイトの使い方などについては省略し、LoRAファイルのダウンロード後の手順から解説していきます。
今回は「Squish – One Hand Only! – LTX-2 / Wan2.2 i2v 14b」という物体を片手で握りつぶすLoRAを使用します。
トリガーワードは「sq41sh squish」です。
今回使用するLoRAはI2V用のしかありませんが、LoRAによってはテキストから動画を生成するT2V用のLoRAと、画像から動画を生成するI2V用のLoRAがあるので間違えないように
Wan2.2でLoRAを使用する手順
LoRAファイルをLoRAフォルダへ保存する
Wan2.2用のLoRAは、Highノイズ用のLowノイズ用で分かれています。
配布者によって、Highノイズ用とLowノイズ用のファイルが個別で配布されているのもあれば、zipファイルでまとめて配布されている場合もあるので、配布ページの説明欄をよく確認しましょう。
今回使用するLoRAはzipファイルで配布されていました。
ダウンロードしたzipファイルを展開したら、中に入っているLoRAファイルを以下のフォルダへ移動させます。
.ComfyUI\models\lorasこの時にHighノイズ用とLowノイズ用でフォルダを分けておくと管理が楽になります。
ComfyUIでLoRAを読み込む
LoRAファイルをLoRA用のフォルダへ移動したなら、さっそくLoRAを使用して生成していきます。
下記のように、Wan2.2のモデル読み込みノードとモデルサンプリングSD3ノードの間に、LoRA読み込み用のノードを追加します。
複数のLoRAを使用する場合は、LoRA読み込み用のノードをLoRAの数だけ配置して繋げる必要があります。LoRAの複数読み込みに対応したカスタムノードを使用しても良いです。
スポンサーリンク
LoRAの有無による生成動画比較
それでは、LoRAの有り無しでの生成結果を比較していきます。
プロンプトは以下のものを使用し、シード値などは同じです。
In the video, an fullmoon is presented. A person's long right arm appears from the side, stretches all way to the fullmoon and grabs the fullmoon. The fullmoon is held in the person’s right hand in the distance. The person then presses on the fullmoon, causing a sq41sh squish effect. The person keeps pressing down on the fullmoon, further showing the sq41sh squish effect.まずはLoRAを使わないで生成した動画です。
次はLoRAを使用して生成した動画です。
しっかりLoRAの効果が出ていますね。
Wan2.2 AIOモデルでLoRAを使う場合
以前、「【動画生成AI】Wan2.2のモデルはこれだけでOK！NSFW対応のWan2.2モデルの導入方法とワークフロー配布【Wan2.2】」で紹介したAIOモデルを使用している場合は、Highノイズ用、Lowノイズ用のどちらか片方のLoRAを適用すればOKです。
AIOモデルの説明欄によればLowノイズ用が推奨されています。
ただし、AIOモデルの利用は一般的ではないので、LoRAを使用するのであれば通常のモデルの利用を強くおすすめします。
最後に
これでWan2.2でもLoRAを使用出来るようになり、生成出来る動画の種類が増えましたね！
それでは！
コメント