ゲーム開発や動画制作など、イラストを使った創作で欠かせないのがポーズ差分です。
けれども、AIを使ってポーズ差分を出す方法を調べても、ControlNetのReference Onlyを使って元イラストに描かれているキャラの特徴や構図を”似せる”という作り方ばかり・・・。
そうじゃないんですよね。実際に求められているポーズ差分と言うのは、差分部分だけが変わり他の部分は一切変わらないものであって、衣装の細部や影などが微妙に変わるものでは無いんですよ。
なので今回は、配布立ち絵において一般的なポーズ差分の作り方を紹介していこうと思います。
使用環境
この記事で使用しているのはwebui-reForgeのバージョンf1.7.0-v1.10.1RC-latest-2183-g1480ec1dです。
ですが、使用する拡張機能はControlNetのOpenPoseとInpaintだけなので慣れている環境を使用しても構いません。
ポーズ差分の作成
それでは、実際にポーズ差分を作っていきましょう。使用するタブはtxt2imgです。img2imgでも可能ですが、精度はtxt2imgの方が高い印象です。
1. 元イラストを生成する
元イラストが無いと始まりません。適当に最初の1枚を用意しましょう。
この記事では以下のイラストを使用していきます。
また、この時用意したイラストがAIイラストであるなら、生成時のプロンプトを覚えておくか、メタデータから確認出来るようにメタデータを削除しないようにしてください。
2. ControlNetの設定
それではポーズ差分を作成する為にControlNetの設定をしていきましょう。
今回は、両腕を腰の後ろに回している差分を作成していきます。
OpenPoseの設定
ControlNetを以下のように設定してください。
上から順に、元イラストの読み込み、EnableとPixel Perfectのチェック、OpenPoseの選択、PreprocessorとModelの間にある爆発マークみたいなのをクリック、Prefer ControlNetを選択です。
PreprocessorとModelはOpenPoseを選択すれば自動で割り当てられるの変更しなくても良いですが、普段使っているものがあるのならそちらを使用しても構いません。
それではOpenPoseの棒人間を調整していきましょう。
PreprocessorとModelの間にある爆発マークみたいなのを押すと、読み込み画像の隣に棒人間が表示されます。赤枠で囲んだEditボタンを押すと棒人間の調整が出来ます。
右側の赤枠で囲った部分でポーズを調整し、調整が終わったら左側の青枠で囲った「ControlNetにポーズを送信」をクリックします。
ポーズの調整は、棒人間の各関節部分にある丸い部分をマウスで動かします。ドラッグアンドドロップで複数の丸を選択すると同時に動かすことが出来ます。良い感じに調整してください。
私は以下のように調整しました。
手は腰の後ろで見えなくなるので範囲外へ移動させました。表示自体を消すことも出来るので、この辺はお好みで。
あとは「ControlNetにポーズを送信」を押してOpenPoseの設定は完了です。
スポンサーリンク
Inpaintの設定
ControlNetを以下のように設定してください。
OpenPoseの時のほぼほぼ同じですね。違うのはPreprocessorとModelくらいでしょうか。今回もこの2つは普段しようしているものに変更しても構いません。
それでは、まずは既存の腕の部分をインペイントの範囲として指定しましょう。
今回は腕のポーズを変えたいので、上記のように腕の部分だけ範囲に指定しました。
次に、差分用の腕を生成する部分の範囲を指定していきます。こちらはOpenPoseの設定を見ながら塗っていくと簡単です。また、OpenPoseのEditボタンを押すことで、元イラストが表示されるので棒人間の腕の位置がどの辺りか把握しやすくなるので、是非活用しましょう。
差分生成用の範囲を塗るコツは、範囲を広く大雑把に塗ることです。こうすることで途中で見切れたりすることなく、自然な出来栄えになります。
3. 差分を生成
後は差分を生成するだけです。プロンプトは元イラストのプロンプトから腕のポーズに関する部分だけを変更するだけです。もし元イラストのプロンプトが無い場合は、Taggerなどで解析したのを使ってください。
私の用意したイラストのプロンプトは以下なので、arms at sidesの部分をarms behind backへ変更します。
simple background,white background,straight-on ,1girl,black hair,short hair,tank top,shorts,smile,arms at sides↓
simple background,white background,straight-on ,1girl,black hair,short hair,tank top,shorts,smile,arms behind backこれで生成したイラストが以下です。
上手くいったように思えますが、これでも腕以外が微妙に変化しています。
あとはAIではなく画像編集ソフトを使用して直していきます。
スポンサーリンク
4. 画像編集ソフトで調整
PhotoshopやGIMPなどの画像編集ソフトで調整していきます。また、画像編集ソフトでは無いですが、クリスタでも同じ事は出来ます。最終的にトレスをして完成という作業フローの方はクリスタを使っても良いかもしれません。
この記事ではPhotoshopを使用していきます。
まず、元イラストと差分イラストの両方を画像編集ソフトへ読み込ませます。
元イラストを前面にすると編集が楽です。
編集するにあたり透過編集が出来る状態にしましょう。Photoshopではレイヤーを右クリックし「背景からレイヤーへ」または「レイヤーをラスタライズ」を選択です。
読み込みが終わったら元イラストから差分部分を消していきます。今回は腕から手にかけてですね。
次に差分用のイラストから腕部以外の部分を削除します。
上記までの編集が済むと、以下のようになります。
これではまだ差分用の腕が隠れたままですね。
次に、差分用イラストの腕部全体が見えるように、元イラストの不要な部分を削除していきます。
この時に、元イラストの透明度を下げると不要な箇所の判別がし易いのでおすすめです。
基本的にはここで完成です。
ですが、生成した差分イラストによっては、以下のように隙間が出来てしまう場合もあります。
このような場合は、画像編集ソフトに搭載されている変形ツールなどを使用して調整してあげましょう。Photoshopやクリスタに搭載されているパペットワープ機能を使うと良いかもしれません。
5. 完成イラスト
細かい部分を微調整して以下のような差分イラストが完成しました。
だいぶ良い感じではないでしょうか。
比較用スライダーを使って見比べてみましょう。
服の右下あたりの編集を少し失敗していますが、今回はこれで良しとします。実際に作品に使用する場合は、こういった細かい部分にも注意しましょう。
最後に
これで本格的なポーズ差分の作成が可能になり、より創作の幅が広がりましたね！
それでは！
コメント