過去に「【AIイラスト】Controlnetで衣装差分を作成する方法【Stable Diffusion】」という記事を書きました。が、この記事で紹介しているControlnetのモデルはSD1.5系向けなので、SDXL系では使えません。
SD1.5系のControlnetのモデルは、基本的にほぼ全てが以下の場所で配布されています。
SDXL系のControlnetのモデルは配布場所がバラバラで、場合によっては配布場所の情報がほぼ知られてないようなのもあります。
なので、今回はSDXL用のControlnetの配布場所を紹介していこうと思います。
Canny・Depth・OpenPose・Scribble・SoftEdge・LineArt・Sketch・IP-Adapter用モデルのダウンロード場所
Canny・Depth・OpenPose・Scribble・SoftEdge・LineArt・Sketch用のモデルは以下の場所でダウンロードできます。
上記の場所で配布されているファイル名に「xl」と付いているものがSDXL用のモデルです。
恐らく、この配布場所は多くの解説記事でも紹介されているので知っている方も多いと思います。
また、IP-Adapter用のモデルは上記で配布されているものとは別のモデルが以下で場所で配布されています。
inpaint用モデルのダウンロード場所
冒頭でも書いた【AIイラスト】Controlnetで衣装差分を作成する方法【Stable Diffusion】でも使用するinpaint用のモデルです。このモデルの配布場所はあまり知られていないのではないでしょうか。
SDXL用のinpaint用モデルは以下の場所で配布されています。
ファイルはfp16のとlora128の2つありますが、fp16はanimagineXL3.1推奨のもの、lora128がanimagineXL3.1専用のようです。Pony系での使用はあまりうまくいかないようです。
スポンサーリンク
CN-anytest v3/v4
SD1.5系にはないControlnetモデルではないでしょうか。
配布場所は以下。
このモデルにはv3とv4があり、それぞれ効果が違います。
v3は読み込んだ画像を重視し、v4はスタイル変換を重視しているそうです。
v3では読み込んだ画像の細部への影響を最小に抑える効果のようなので線画を読み込ませて色塗りや、完成しているイラストを読み込ませて、髪色や衣装の色違いを生成するときに役立ちます。
v4は読み込んだ画像よりもスタイル変換を重視しているので、画風の変換に使えるようです。ただし、細部が大きく変わる可能性があります。
このモデルにはいろいろ種類がありますが、配布場所では説明が一切記載されていないので、以下に簡単にまとめてみます。
・amとpnの違い
ファイル名にamやpnと付いているものがありますが、amと付いている方がAnimagine用でpnの付いているのがPony用です。
・dimの数値の違い
この数値が大きければVRAM消費量が増え、精度が高くなります。低ければその逆でVRAM消費量を抑えられる代わりに、精度が低くなります。
基本的にはdimの数値が高い方のを選ぶと良いでしょう。もしそれでうまくいかないようなら、数値の低いのを使用してみることをおすすめします。
Line2Color用モデルのダウンロード場所
恐らくこちらもSDXL用でのみ存在しているControlnetモデルではないでしょうか。似ているモデルだとLineArtでしょうか。
配布場所は以下です。
このモデルを簡単に説明すると、白背景、黒線画の画像を読み込ませると自動で色塗りをしてくれるというもの。また、こちらのモデルを使用するときはプリプロセッサは「none」を選択してください。
最後に
これでSDXL用の主要なControlnetモデルは揃うはずです。
それでは！
スポンサーリンク
コメント