12/9更新【Novel AI・waifu diffusion】イラストAIの情報・テクニックまとめ【備忘録】

最終更新日:2022/12/9

Midjourneyやstable diffusion、派生のwaifu diffusionやNovel AIなど、なにかと話題のイラストAIですが、進化が早すぎて情報を追いきれませんね。

ツイッターなどで情報を集めて、いいねやブックマークに追加して使えそうな情報は保存しているのですが、すぐに新しい情報が公開されていて数時間前に保存したツイートを見つけるだけで一苦労なんてことがあります。

なので、この記事ではイラストAIに関する情報をまとめた、備忘録的な記事となっています。

基本的に自分用としての記事なので、分かりづらい言い回しや、箇条書きになるところもありますが、ご了承ください。

この記事は随時更新します。

イラストAI関係の法律(2022/10/21現在)

イラストAIに関しての法律。判例がないので絶対ではない。

学習元や生成したイラストに関しての法律。

Midjourney、Stable Diffusion、mimicなどの画像自動生成AIと著作権

Midjourney、Stable Diffusion、mimicなどの画像自動生成AIと著作権(その2)

・AIを開発する場合、学習元の画像は勝手に使っても良い
・ツイッターに「AI学習禁止」と書いても意味なし
・既存の画像を知っており、その画像と似た構図の画像が生成された場合、アウト
・既存画像は知らないが、似た構図の画像が生成された場合、グレー
・既存画像が学習に使われているが、その画像を知らない場合、セーフの可能性大
・既存画像が学習に使われていて、その画像を知っている場合、アウト
・既存画像を元に、image2imageで生成した場合、アウト
・既存画像を元に、image2imageで生成するが、元画像とは類似しない場合、セーフ

・短いプロンプトで1回の生成した画像の場合、著作権は発生しない可能性大
・詳細な長文のプロンプトで生成した画像の場合、著作権が発生する可能性大
・短いプロンプトでも複数回生成したり、複数枚生成後、良い画像を選択する行為をがあれば、著作権が発生する可能性大
・短いプロンプトから生成した画像を、人の手で加工した場合、著作権が発生する

mimicの時に絵師がツイッターで「AI学習禁止」と言っていたが、お守りのようなもので拘束力は皆無ということ。「AIで生成した画像に著作権は発生しない」というのは間違いというのが分かりますね。

スポンサーリンク

イラストの生成方法

イラスト生成AIに対するよくある誤解

よく絵師やそのファンが「AIは切り貼りのコラージュ」と言っていますが、それは間違いということですね。

便利ツール

NMKD Stable Diffusion GUI
stable diffusionなどをGUI形式で動かせるソフト。

stable-diffusion-webui(AUTOMATIC1111)
stable diffusionなどをGUI形式で動かせるソフト。それ以外にもtextual inversionhypernetwork、Prompt Matrixなどいろいろな機能が備わっている。基本これを使う。

NovelAI Prompt整理ツール
ネット上で拾ったプロンプトを入れると、自動で単語ごとに分けてくれる。翻訳機能付き。

NovelAI StableDiffusion Prompt Converter
元素法典のプロンプトはリークされた流出モデル用なので、これで正規のNovel AI用に変換すると良い

DeepDanbooru
画像を投げると、それに合わせたタグが生成される。プロンプトを考えるときに参考になる。
AUTOMATIC版 webuiに搭載されている。

Magic Generator
髪型や表情などを指定すると、それに合わせたプロンプトを生成してくれる。

AIが作った画像か判別するAI
魔女狩り御用達ツール。Twitter見てたら、イラストAIが出る前に描いた手描きの絵を70%の確率でAIが描いたと判定していた。

Real-ESRGAN
画質を維持しつつ解像度を上げる。4倍に上げても違和感がなかったので、Novel AIのLandscape(1024×512)などで生成した画像をWQHDモニタの壁紙に出来る。
 →AIが画像を美しく拡大する「Real-ESRGAN」の使い方【GUI】
   Real-ESRGANをGUI形式で起動できるソフト。

プロンプト(呪文)とテクニック

元素法典
ハイクオリティな画像を生成するプロンプト。ネガティブプロンプトを指定して生成される画像をコントロールしている?
 → NovelAI元素法典(第1巻)の日本語訳

元素法典1.5
 → NovelAI元素法典(第1.5巻)の日本語訳

元素法典2.0

元素法典2.5

キャラのポーズ・位置・視点の呪文の一覧【Waifu Diffusion・NovelAI】
ポーズや視線。カメラの場所などを指定できるプロンプト

魔術書
衣装や表情などのプロンプト
 →特殊な瞳 目の中にハートを入れたりするプロンプト

わがままAI CGでポン!
表情などいろいろなプロンプト。

NovelAI Tag Experiments
Novel AIで使えるタグ一覧。Art MovementとArt Techniqueは活用できそう。

NovelAIで女性の髪形の呪文(コマンド)がわからないのでお団子ヘアーなど片っ端から検証してみた
いろんな髪型。Novel AIが認識するプロンプトとしないプロンプトが分かれてるのでわかりやすい。

 

元素法典(NovelAIの呪文集)を最大限に活用するには画像取り込みから絵を出力したほうが良い
とりあえずメモ。

NovelAIの画像を取り込み絵を出力させる方法を文章からの出力含めて初心者でもわかるように解説
img2img関係。strengthとnoiseの関係もここ。

画像の表情だけを変えたいが周りは変えたくない場合は画像AIのNovelAIが便利
表情差分を作れる。

AIイラストのメタデータのプロンプトの確認と削除する方法【Novel AI・waifu diffusion】
これをしないと、投稿サイトにイラストを投稿した際、プロンプトやシード値など、生成に必要な情報全てバレる可能性がある。

【NovelAI】NovelAIでSeed固定をして差分画像を作ろう
Seedを固定することで、画風をある程度保てる。

プロンプトとseed固定でキャラをほぼ固定化できる(Twitter)
そのまま

GIMPのにじみツールでごまかし編集(Twitter)
指の本数が多いときに、GIMPのにじみツールで修正できる。

理想のイラストにするためのテクニック(Twitter)
おそらくimg2imgの話。

【AI画像生成の基本技】「短くて効率的な人体構造抑制ワード(独自研究)」
短いネガティブプロンプトで、手や足が崩れるのを防ぐ。

 

“fusion of ◯◯ and ✕✕”(Twitter)
2つのモノを合体できる。竜人などを作成できる。例 : {fusion of girl and ◯◯},{◯◯ form girl},{{{fusion}}},1girl,solo

ネガティブプロンプトに”3D”(Twitter)
ネガティブプロンプトに”3D”と記入すると、平面なイラストを生成しやすい。{}で囲って強調すると効果が変わる。

“+”記号で要素の分離(Twitter)
複数人生成するときに、プロンプトで+(プラス)マークを入れることで、要素を分離しやすくなる。

髪、目、服などの色の指定方法(Twitter)
“1 girl, {blue eyes}, {yellow hair}, {white clothes}, {red skirt}, {black leggings}”と入力するよりも、”1 girl with blue eyes and yellow hair wearing white clothes and red skirt with black leggings”の方が良い。 このプロンプトで生成した画像(Twitter)

イラストAIでアニメ作成

基本的には、動画をフレーム単位で画像ファイルにし、それを1枚ずつimg2imgする。

img2imgでアニメを作成する方法(Twitter)
そのまま。

Few-Shot-Patch-Based-Trainingで3D動画のイラスト風変換
数フレーム分の画像をimg2imgで絵柄を出来る限り固定して出力すれば、その数フレームの絵柄で残りのフレーム分の画風を固定して出力してくれる技術(?)

Textual Inversion

スタイル?画風?を学習させる。要はmimicと同じことができる。

Textual Inversion
Textual Inversion on AUTOMATIC1111

Stable Diffusion web UI (AUTOMATIC1111) で Textual Inversion の学習済みモデルを使う

textual inversionで生成したptファイルはembeddingsフォルダに入れる(AUTOMATIC1111版)

DreamBooth

特定のオブジェクトを学習させる。キャラクターをそのまま認識される事ができる。

AIで特定キャラを描く(DreamBoothで追加学習)
Colab で DreamBooth する

Google Colab ではじめる DreamBooth

22/10/1 Dreamboothに挑戦した記録

fast-DreamBooth.ipynb(日本語補足)
google colabへのリンク。DreamBoothで複数の概念を学習させることが出来る。

Hyper Network

画風を覚えさせる。TIよりも高性能?

Hyper Network on AUTOMATIC1111
日本語で書かれている。

[Diffusion Model] Hypernetworksのレイヤー構造を変えた際の変化を比較する
レイヤーごとの学習結果。

【Novel AI】Hyper Networkをcolabの無料枠で行う方法【waifu diffusion】
そのまま

HYPERNETWORK: Train Stable Diffusion With Your Own Images For FREE!
YouTubeの解説動画リンク

Stable Diffusion のファインチューンの Tips
Textual Inversionの情報も入ってる。

画風学習メモ
レイヤー 1, 1.5, 1.5, 1 mish xaviernormal dropoutにチェック

上記の設定で学習データ 512×512の画像を201枚+左右反転させた画像の計402枚で、30000ステップくらいでそこそこ良い結果が出た。

Imagic

1枚絵から表情差分や服装差分を作れる?

Imagic_Stable_Diffusion_Lisa
google colabへのリンク

DreamArtist

DreamArtist-sd-webui-extension
1枚の画像で追加学習が出来る。

outpainting

DALLE-E 2
高性能だけど、アニメ調のイラストでも水着など、肌色成分が多いとエラーが出る。

stablediffusion-infinity
ローカルでDALLE-E 2のようなoutpaintingが使える。

stablediffusion-infinity(Hugging Face)
オンラインでstablediffusion-infinityを使える。

スポンサーリンク

例のアレ

簡単にいうとNovel AIのリーク関係のやつです。流出モデルのダウンロード方法などは書きません。試してみたいという方は各自で調べてください。また自己責任でお願いします。

解析によればモデルファイルに問題はなかったようですが、試していないので実際のところどうなのか不明です。

Emulate NovelAI #2017
Stable Diffusion Web UIでのNovelAIの再現
浅探NovelAI模型里的4G的Final和7G的Latest有什么区别?我该用哪个

NovelAI-4chan-lowvram-ver(低VRAM版)

NAI再現

NovelAI 再遭泄露?实测对比Anything-V3.0.ckpt 提升巨大
11月に新しくリークされたNovel AI?Novel AIを追加学習させて精度を上げたモデル?

画像データに含まれるメタデータの削除方法

画像ファイルの情報には、プロンプトやネガティブプロンプト、スケールやシード値などが記載されています。投稿サイトにそのまま投稿すると、生成に必要な情報がバレます。

それを防ぐためにメタデータを削除する方法を書きました
AIイラストのメタデータのプロンプトの確認と削除する方法【Novel AI・waifu diffusion】

クラウドGPU

高性能のGPUをクラウド上でレンタルできる。基本オンデマンドで借りると良い?

Cloud GPU Comparison
クラウドGPU比較サイト

vast.ai
たぶん安いとこ

Paperspace
サブスクだけで使えるGPUサブスク+1時間課金の2種類あり。
gradientCOREがあるが、web-uiを動かすならgradientでOK。COREでVRChatやMMDを動かしてる人がいたから、たぶんPCを遠隔操作するようなサービス?
多少のラグを許容できるようなゲームならクラウドゲーミングとして利用できそう。

Paperspaceでweb-uiを起動する方法を記事にしました。
【Novel AI】stable diffusionの追加学習をpaperspaceで月額たった8ドルで行う方法【DreamBooth】

個人的お気に入りプロンプト

【Novel AI】
evil smile (不敵な笑み・邪悪な笑い)
small breasts (ツルペタ。一番良いサイズ。人類の宝。最高)
dark skin (褐色)
brown skin (↑より薄い褐色。こっちの方が好み)
realistic (リアル調になる。4~5重で強調すると良いかもしれない)
oil (realisticと合わせて使うと良い。強調はrealisticよりも少なくすると良いかも)
skirt lift (たくし上げ)

個人的お気に入りネガティブプロンプト

lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name
リーク版で使われてるネガプロらしいけど、正規でもお守り的に使う。

large breasts (いらないものが付くのを防ぐ。必須)
fused fingers (指がくっ付くのを防ぐ)
too many fingers (指の本数が多いのを防ぐ)
missing arms (腕が変になるのを防ぐ)
missing legs (足が変になるのを防ぐ)
too many toe (足の指の本数が多いのを防ぐ)
more than two legs (足が2本以上になるのを防ぐ)

実際に使うとき
lowres, bad anatomy, bad hands, text, error, missing fingers, too many fingers, missing arms, missing legs, more than two legs, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts,signature, watermark, username, blurry, artist name

Twitterアカウント

AI関係の情報を発信しているアカウント

birdMan(@birdMan710Nika)
このアカウントを見とけば基本困らない。
高杉 光一(@kuronagirai)
AIるしあの人。そこに愛はあった。

その他

vaeファイルは、ckptファイルと同じ名前にして使う。
例:anime.ckptの場合、anime.vae.pt

img2imgでのstrengthはオリジナルをどれだけ残すか。noiseはオリジナルをどれだけ改変するか。

イラストAI関係の参考書籍など

プロンプトなどをまとめた書籍。Kindle Unlimited読み放題に対応した書籍もあり。
Kindle読み放題の登録はこちらから。

↑MidjourneyとStable Diffusionで使えるプロンプト集。

↑Kindle読み放題対応。ポーズに対応したプロンプトがイラスト付きでまとめられている。

↑Kindle読み放題対応。waifu diffusionでよく使われているプロンプトを、有りと無しの比較画像でまとめられている。

コメント

タイトルとURLをコピーしました