【AIイラスト】ControlNetのreference onlyの使い方【Stable Diffusion】

少し前にTwitterで話題になったControlNetの新しいpreprocessorである「reference_only」の使い方について書いていきます。

最後にオマケも載せておきます。

導入

このプリプロセッサは、ControlNetの拡張機能を入れるだけで使えます。
既に導入してるけどプリプロセッサにreference_onlyが無いという方は、ControlNetを更新しましょう。

はい、これで導入は完了です。

続いて使い方の説明に移ります。

スポンサーリンク

使い方

まずは、いつも通りtxt2imgにて適当にイラストを出していきましょう。

今回は以下のプロンプトで生成しました。

プロンプト:masterpiece,best quality,1boy,brown hair,black jacket
ネガティブ:(worst quality:1.4), (low quality:1.4),bad hands,watermark,signature,username,blurry,artist name,1girl

このプロンプトで以下のようなイラストが生成されました。

次に、ControlNetのプリプロセッサreference_onlyに設定して生成したイラストをD&Dで読み込ませます。Control Weightなどの設定はお好みでいじってください。

ちなみに、reference_onlyを使う場合はプリプロセッサの指定のみで、モデルの選択欄は表示されません。

これで準備完了です。
あとはいつも通り画像生成です。

まずは、プロンプトを変えずに4枚生成してみました。

似たキャラクターのバリエーション違いのような感じで生成されました。
これで生成したイラストをLoRAなどで学習し、オリキャラを作れそうですね。

次はプロンプトをクオリティタグのみでやってみます。

プロンプト:masterpiece,best quality
ネガティブ:(worst quality:1.4), (low quality:1.4),bad hands,watermark,signature,username,blurry,artist name

以下の4枚が生成されました。

女の子になりました。TSもので使えそうです。

それでは次は以下のように、クオリティタグ+性別指定でやってみます。

プロンプト:masterpiece,best quality,1boy
ネガティブ:(worst quality:1.4), (low quality:1.4),bad hands,watermark,signature,username,blurry,artist name,1girl

今度は以下の4枚が出力されました。

服装などは指定していませんが、元画像と同じような服を着ていますね。

では次は以下のようなプロンプトを入力し、服を変えてみることにします。

プロンプト:masterpiece,best quality,1boy,brown hair,school uniform
ネガティブ:(worst quality:1.4), (low quality:1.4),bad hands,watermark,signature,username,blurry,artist name,1girl

これで生成したイラストがこちらです。

良い感じではないでしょうか。

似たようなキャラで服装も変えれるので、AIイラストで安定してオリキャラを作れるようになりそうですね。

スポンサーリンク

オマケ

みんな大好きいらすとやのイラストをreference onlyに入れてみました。

プロンプトは以下で生成です。

プロンプト:masterpiece,best quality,1boy,school uniform
ネガティブ:(worst quality:1.4), (low quality:1.4),bad hands,watermark,signature,username,blurry,artist name,1girl

生成されたイラストはこちら!

元が透過画像なので背景が黒くなっている部分もありますが、かわいらしいキャラが出ましたね。

それだけ。

コメント