【画像生成AI】LoRA学習ツール「AI-Toolkit」のインストールと使い方を解説【LoRA】

本サイトでは過去に、sd-scriptsとFizgigの導入と使い方を解説しました。
実はLoRA学習ツールにはもう1つ有名なものがあります。

それが「AI-Toolkit」です。

AI Toolkitはsd-scriptsと同じくらい使用者の多い学習ツールです。
最近話題になったMOSS-ImageのLoRAをcivitaiなどから無作為に選びメタデータを確認すると、その多くはAI-Toolkitが使われています。

MiniMax H3 Imageへの対応もモデル配信の当日に行われるなど、最新モデルへの対応も早いです。

そこで今回は、AI-Toolkitのインストールから使い方を詳しく解説していきます。

AI-Toolkitに必要なソフトをインストール

AI-Toolkitを動かすのに必要なソフトウェアは以下の2つです。

Python 3.10以上 (推奨3.12)
Node.js 20以上

Pyhonは以下のページからダウンロード出来ます。
Python Releases for Windows

Node.jsは以下のページからダウンロード出来ます。
Node.jsをダウンロードする

AI-Toolkit-Easy-Install というものを使えばこの辺りも含め自動でインストール出来るようですが、こういうのは基本的に本家のリポジトリを使うのが良いです。

ComfyUIなどもStability MatrixやEasy Install系で導入する方法がありますが、エラーが発生した場合、ComfyUIのエラーなのか、Easy Install系独自のエラーなのかで対応が変わるのが面倒です。

なので、基本的にこういったものは本家リポジトリから導入するようにしましょう。

スポンサーリンク

AI-Toolkitの導入から初回起動

それでは、AI-Toolkitをダウンロードします。

保存したいフォルダで以下のコマンドを実行します。

git clone https://github.com/ostris/ai-toolkit

すると、「ai-toolkit」というフォルダが作成されるので、そのフォルダを開き中に入っている「run_windows.bat」を実行します。

セットアップが終わると起動します。

これで導入は完了です。

2回目以降の起動

AI-Toolkitの2回目以降の起動は「run_windows.bat」を実行することで出来ます。

ただし、こちらの起動方法では更新処理が行われるので、バージョンを固定して使いたいという場合は以下のコマンドで起動するか、batファイルの更新処理の部分をコメントアウトしましょう。

python -m manager launch

学習までの手順

それでは、AI-Toolkitを起動したところから学習までの手順を解説していきます。

データセットの登録

まずは学習に必要な画像とキャプションファイルを登録していきます。

左のメニュー一覧から「Datasets」を選びます。

次に、右上の「New Dataset」をクリックします。

データセットの名前を登録する画面が表示されます。

ここでは「blogsample-chan」という名前にしました。
名前を決めたら「Create」をクリックです。

データセットの名前を決めたら、画像とキャプションファイルを登録します。

画像とキャプションファイルが入ったフォルダをドラッグ&ドロップすると登録できます。
画像とキャプションが表示されたら成功です。

これでデータセットの登録は完了です。

学習時の設定

データセットを登録したら左のメニュー一覧から「New Job」をクリックします。

学習に使うモデルの設定や、各パラメーターの設定画面が開きます。

それでは、各項目の説明をしていきます。

JOB・MODEL・QUANTIZE / COMPLE・TARGET・SAVE の設定

まずはこの5つの項目から説明していきます。

・JOB
Training Name :
出力されるLoRAファイルの名前です。

GPU ID :
学習に使用するGPUです。

Trigger Word :
トリガーワードの設定です。ここで指定したワードがキャプションの先頭に追加されます。登録したキャプションに元からトリガーワードが付いている場合は空白で大丈夫です。

・MODEL
Model Architecture :
どのモデルを使用するか選択できます。ここの選択で他の設定項目のデフォルト値が決まります。

Name or Path :
使用するモデルのパスを指定します。デフォルトではHuggingFaceからダウンロードされるので、既にモデルを持っているのなら以下のようなパスを設定します。

F:\GenerationAI\resource\diffusion_models\MOSS\moss_image_sft_bf16.safetensors

Low VRAM :
少ないVRAMでもOOMを出さずに学習する為の設定です。RTX5090含め基本的にONです。

Layer Offloading :
VRAMだけでなくRAMを活用して学習します。これにより低VRAMのGPUでも大きなモデルを学習することが可能となりますが、その分学習は遅くなります。基本的にはOFFです。

・Quantize / Compile
Transformer :
DiT(モデル本体)を指定した方式で量子化し、学習時のVRAM使用量を抑えます。

Text Encoder :
TextEncoderを指定した方式で量子化し、学習時のVRAM使用量を抑えます。

Compile Mode :
学習速度の向上が期待できますが、環境や使用するモデルによってはエラーは出たり、コンパイルに時間が掛かるという情報もあるのでOFFで構いません。

量子化を指定するときの注意点ですが、量子化をしないという「- NONE -」という選択肢があります。
ですが、学習に使用するモデルが元々量子化されていることもあると思います。

この場合は「- NONE -」ではなく、使用するモデルの量子化方式を選択してください。
そうしないと、量子化されたモデルをBF16へ変換するという処理になってしまい、VRAMを余計に使用していまいます。

・TARGET
Target Type :
LoRAかLoKrかを選べます。

Linear Rank :
学習容量を設定します。sd-scriptsやFizgigでは「dim」と表記されている項目です。

・SAVE
Data Type :
LoRAファイルの精度です。BF16で大丈夫です。

Save Every :
学習中のLoRAファイルを指定したステップ数ごとに保存します。

Max Step Saves to Keep :
Save Everyで保存するLoRAファイルの最大数です。これを超えた分は削除されます。全て残したい場合は総保存数よりも多くしましょう。

TRAINING の設定

次はTRAININGの設定です。

・TRAINING
Batch Size :
学習時に画像を同時に読み込む枚数です。基本的には1で良いです。

Gradient Accumulation :
指定した枚数の画像が読み込まれたら学習を進めます。例えば、Bactch Sizeを4に設定した時、1バッチで読み込まれる枚数は4枚です。この項目を1にしていた場合、4枚読み込まれたら学習が進みます。2にしていたら8枚読み込まれたら学習が進みます。基本的には1でOKです。

Steps :
学習する合計Step数です。

Optimizer :
オプティマイザーを指定します。よく使われているのは「AdamW8Bit」です。

Learning Rate :
学習率を設定します。

Weight Decay :
過学習を抑える効果があります。デフォルトの0.0001で問題ないでしょう。

Timestep Type :
学習時のノイズの加え方です。選択したモデルによりデフォルト値が自動で割り当てられているので、デフォルトのままで大丈夫です。

Timestep Bias :
学習時のノイズの強弱を指定します。線や質感など細部を重視したい場合は「Low Noise」、構図や大まかな形状を重視する場合は「High Noise」。基本的には「Balanced」で良いと思います。

Loss Type :
現在のLoRAで生成される画像と学習画像でどれだけの違いがあるのかを判定し、学習を正解に近づける処理です。Mean Squared Errorを選択しておけば良いでしょう。

Use EMA :
学習時の急な変動を抑える効果があり、より汎用性の高いLoRAに出来るようですが、VRAM消費量も増えます。ただ、汎用性が上がる場合もある程度のものなので、OFFで構いません。

Unload TE :
データセットに登録したキャプションが無視される固定のプロンプトを使用するようになります。固定プロンプトは「JOB」の「Trigger Word」で指定したワードです。

Cache Text Embeddings :
学習前にキャプションをキャッシュしVRAMを節約します。基本ONで構いません。

Differential Output Preservation :
特定のプロンプトの生成されるものを元モデルで維持出来るようにします。例えば女性キャラLoRA作成時、指定していないキャラが学習キャラに似てしまう時に、この設定をONにして「DOP Preservation Class」に”girl”とすると、生成時に”girl”に対する部分を元モデルに近づけるように学習されます。また、この機能を使用する際はトリガーワードは「JOB」の「Trigger Word」で指定してください。最初はOFFで良いと思います。

Blank Prompt Preservation :
LoRAを適用した状態で空プロンプトで生成したとき、生成結果を元モデルに近づけるように学習します。例えば、”雨の降る町”を学習させたLoRAを適用した状態でプロンプトを空にして生成した時、生成結果を元モデルに近づけます。最初はOFFで良いと思います。

Contrastive Guidance Loss :
LoRAの効果をもっと強く反映されるように学習します。
低いCFGで生成したときにLoRAの効き目が薄い時、この項目をONにして再学習すると改善されるかもしれません。最初はOFFで良いと思います。

VALIDATION・ADVANCED の設定

VALIDATIONは結果に影響するものではないのでOFFで良いです。

Do Differential Guidance :
LoRAを目標に近づけるための自動補正値を強める設定です。基本OFFで良いです。

Pool Datasets :
複数のデータセットを使用する時、同じ画像サイズのものをまとめてバッチに登録する機能です。基本OFFで良いです。

DATASETS の設定

次はDATASETSの設定です。

・DATASETS

Target Dataset :
登録したデータセットの中から、今回の学習で使用するデータセットを選択します。

LoRA Weight :
学習中にデータセットの画像に対して今の学習進捗を照らし合わせ、自動で補正を掛ける機能のようですが、基本1で大丈夫だと思います。

Num Repeats :
1Epochでデータセットを何回繰り返すかという設定です。1Epochとはデータセット総枚数を全て使用したタイミングのことです。例えば100枚のデータセットであれば100Stepが1Epochとなります。

ここの数値を3にした場合、100枚のデータセットであれば1Epochは300枚 (300Step)となります。

使用するデータセットが1つだけであれば数値は1で構いません。
しかし、複数のデータセットを使用する場合、以下のようにそれぞれの枚数が異なる場合があります。

データセット 1 : 100枚
データセット 2 : 50枚
データセット 3 : 10枚

この場合、100枚のデータセット 1 に他のデータセットを合わせます。
データセット 2 のNum Repeatsは2、データセット3 は10にします。

こうすることで、学習中に同じ頻度で画像が使用されることになります。
しかし、実数の少ないデータセットの方は過学習になりやすいので、実数を揃えてNum Repeatsは1で行う方が良いです。

Batch Size :
TRAININGで指定しましたが、こちらで指定したBatch Sizeが優先されます。
データセットごとにBatch Sizeを変更したい場合は活用しましょう。

空欄ならTRAININGで指定したBatch Sizeが使用されます。

Default Caption :
キャプションファイルが無い場合、ここに入力されたキャプションが使用されます。
キャプションファイルを登録しているなら空白でOKです。

Caption Dropout Rate :
一定の確率でキャプションを無視して学習します。

0を指定した場合、この機能は実質無効です。
0.05では5%の確率でキャプションが無視されます。
0.1なら10%の確率です。

いくつかのLoRAのメタデータを確認したところ、ここの値は0.05や0が多かったのでそれくらいの値で大丈夫だと思います。

Caption Extension :
登録したキャプションの拡張子を選択します。

Cache Latents :
学習画像を事前にキャッシュすることでVRAMの使用量を減らせます。

Is Regularization :
この項目をONにしたデータセットを正則化画像として扱います。

Flip X :
学習画像に左右反転した画像を追加します。
キャプションはそのままなので、向きや位置など左右を表すキャプションが付いている場合、学習に不都合が生じる可能性がありますので、最初はOFFで良いと思います。

Flip Y :
学習画像に上下反転した画像を追加します。
キャプションはそのままなので、向きや位置など上下を表すキャプションが付いている場合、学習に不都合が生じる可能性がありますので、最初はOFFで良いと思います。

Resolutions :
学習画像の解像度を指定します。
AI-Toolkitでは複数の解像度を選択出来ます。

最初は1024のみチェックを入れるのが良いでしょう。

Add Dataset :
このボタンを押すことで、データセットを追加出来ます。

スポンサーリンク

SAMPLE の設定

次はSAMPLEの設定です。

Sample Every :
サンプル画像を生成するStep間隔です。500と入力すると500Stepごとにサンプル画像が生成されます。

Sample Start Step :
最初のサンプルが生成されるStep数を指定出来ます。0であればLoRA学習前の状態でサンプルが生成されます。

LoRA適用時の変化度を比較する為に、0を入力しLoRA学習前の画像を生成しておくことをおすすめします。

Sampler :
画像を生成する際の計算方法です。選択したモデルにより自動で割り当てられます。

Guidance Scale :
生成時のプロンプトの効きの強さです。CFGのことです。

Sample Steps :
生成時のStep数です。

Width :
生成される画像の横幅です。

Height :
生成される画像の縦幅です。

Seed :
画像生成時のSeed値です。

Walk Seed :
生成するサンプル画像を増やしたときに、Seed値を1つずつずらします。

Skip First Sample :
学習前のサンプル画像を生成するかどうかの設定です。ONにすると生成しなくなります。

Force First Sample :
学習再開時など、通常であればサンプル画像が生成されないタイミングでも生成されるようになります。

Disable Sampling :
サンプルを生成しないようになります。

Sample Prompts :
生成する画像の設定です。プロンプト、画像サイズ、シード値、LoRAの強度を設定できます。
空白の場合はデフォルト値が割り当てられます。

サンプルごとにサイズやLoRA強度を変えたいという場合は入力してください。

Add Prompt :
このボタンを押すことで、サンプル数を増やせます。

テキストエンコーダーやVAEのフォルダパスやその他の設定方法

他のLoRA学習ツールを使用している方は気づいたと思いますが、Text EncoderやVAE、Alpha値などの設定を行う項目がないではないか、と。

実はAI-Toolkitでは、その辺りの設定は上級設定となっており隠されています。

ここではText EncoderとVAEの設定方法について説明していきます。

まず、右上の「Show Advanced」をクリックします。

そうすると以下のように英数字が羅列された画面が開きます。

この画面でそれぞれ設定していきます。

上記の例ではText EncoderとVAEを追加しています。

記述するコードは以下です。

Text Encoderの指定
te_name_or_path: "F:\\GenerationAI\\resource\\text_encoders\\MOSS\\qwen3.5_9b_bf16.safetensors"

VAEの指定
vae_path: "F:\\GenerationAI\\resource\\vae\\Flux2\\flux2-vae_small.safetensors"

上記のコードを、modelセクション内に記述します。

これで、指定したText EncoderやVAEの設定が出来ます。

以下は、他のツールでは主要な項目として設定できる箇所をまとめました。

・process セクション
Training Seed :
学習シード値は以下のように指定します。

process:
  training_seed: 42

・datasets セクション
Shuffle Caption :
シャッフルキャプションは以下のように記述します。

datasets:
  shuffle_tokens: true

Keep Tokens :
この項目は以下のように記述します。

datasets:
  keep_tokens: 1

・network セクション
Network Alpha :
Alphaは以下のように記述します。

network:
  linear_alpha: 16

これで、Alpha値を16に指定出来ます。

・train セクション
LR Scheduler :
スケジューラーは以下のように記述します。

train:
  lr_scheduler: constant_with_warmup

Warmup Steps :
この項目は以下のようにします。

train:
  lr_scheduler_params:
    num_warmup_steps: 100

・model セクション
Text Encoder :
Text Encoderのモデルは以下のように指定します。

model:
  te_name_or_path: "テキストエンコーダーのパス"

VAE :
VAEモデルの指定は以下のようにします。

model:
  vae_path: "VAEのパス"

その他の項目は以下の公式資料から確認してください。

ai-toolkit/toolkit/config_modules.py at main ?? ostris/ai-toolkit
The ultimate training toolkit for finetuning diffusion models - ostris/ai-toolkit

設定を終えたら

全ての設定を終えたら、右上にある「Create Job」をクリックして完了です。

設定をプリセットとして保存し呼び出す方法

他のツールでは学習設定をプリセットとして保存できる機能があります。

AI-Toolkitでも同じような事が出来ます。

やり方は、「Show Advanced」を押して出てきたコードを全てコピーし、.yaml形式で保存することです。

呼び出し方法は「Import Config」ボタンから、保存してある.yaml形式のファイルを指定するだけです。

スポンサーリンク

学習を開始する

それでは、前項で「Create Job」を押したところまで行ったら、あとは学習を開始するだけです。

右上の再生マークをクリックすることで学習を開始出来ます。

学習を開始したら、ダッシュボード画面から学習しているLoRAの名前が表示されているので、それをクリックすることで詳細画面へいけます。

左のメニュー一覧に表示されている学習中のLoRAをクリックしても詳細画面をいけます。

詳細画面では、生成されたサンプル画像やグラフなどを見ることが出来ます。

サンプル画像では、以下のようにプロンプトや何Step目のサンプルなのかなどを確認することが出来ます。

学習画像の画風が偏っているので、キャラだけでなく画風までも学習されていますが、LoRA学習は成功していますね。

最後に

AI-Toolkitは他の学習ツールと比べて設定項目が分かりづらいですが、最新モデルへの対応も早いので使い方を知っておいて損はありませんね!

それでは!

コメント