【MiniMax H3】高品質な動画を生成するためのプロンプトの書き方を解説【動画生成AI】

ローカルでクオリティの高い動画を作成出来る動画生成AIのMiniMax H3。

ですが、狙った動画を生成すためには、登場する人物や背景、動作や雰囲気など様々な要素を細かく指定する必要があります。

また、MiniMaxには ” integrated_multimodal_description : “ や ” <Picture N> “ といった専用のプロンプトがあります。
指定する要素も多いのに、それに加え専用のプロンプトも…となるとプロンプト構成は複雑なります。

MiniMaxには公式skillsがあるのでそれを使ってプロンプトを生成することも出来ますが、より正確に指定する為にはプロンプト構成や、どの項目に記述するのかを理解しておく事が重要です。

そこで今回は、MiniMaxのプロンプトについて、各項目の役割や書き方をI2VA、FL2VA、Ref2VAのそれぞれで解説していきます。

I2VA＝開始画像のみ指定して生成。FL2VA＝開始画像・終了画像を指定して生成。Ref2VA＝リファレンスモードで生成。

項目・ラベルの一覧

まずはMiniMaxで使用する項目用プロンプトとタグと、どの生成モードで使うものなのかを一覧で記載していきます。

I2VAで使用する項目・ラベル

次は開始画像のみを指定して生成するI2VAで使用する項目とタグの一覧です。

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

参照画像が動画のどの時間に対応するかを記述。<Picture 1>を開始画像として指定する為、I2VAモードで生成する際にほぼ必須と言えるプロンプトです。

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

integrated_multimodal_description:

動画内容についての記述。人物の動きやカメラの動き、光の当たり方や映像の雰囲気など。

integrated_multimodal_description:
ここに動画内容の記述

overall_soundscape:

全体的な音環境についての記述。動画内の人物にも聞こえている音。足音や環境音など。

overall_soundscape:
ここに音に関する内容を記述

non_diegetic_music:

動画内の人物には聞こえていない音についての記述。BGMなど。

non_diegetic_music:
ここに音に関する内容を記述

BGMなしの場合は以下のように記述します。

non_diegetic_music:
N/A

[Shot N]

動画の各カットを表すラベル。動画の開始部分は[Shot 1]となります。
[Shot 1]から[Shot 2]へ場面を切り替えたい場合は以下のようになります。

[Shot 2] At 00:05:000, the ...

これで5秒目から場面が切り替わります。

<d>…</d>

セリフや歌詞用のラベル。このタグで囲んだ部分がセリフになります。

<d>[Japanese] こんにちは。</d>

上記のプロンプトの場合、キャラクターが「こんにちは」と喋ります。

(S1),(S2)

話者を表すラベル。

(S1) <d>[English] Hello. How are you?</d>

(S2) <d>[English] I'm fine.</d>

上記のプロンプトだと、(S1)が話者1、(S2)が話者2となります。

<Picture 1>のキャラを話者1として発話させるなら以下のようなプロンプトになります。

The young woman shown in <Picture 1> (S1) says:
<d>[English] ...</d>

もしキャラクターが2人いる場合は以下のように、外見などを詳細に記述します。

The young woman with long black hair (S1) says:
<d>[English] ...</d>

The young man in the blue jacket (S2) replies:
<d>[English] ...</d>

<scenetrans>

ショットをまたぐ会話。カットが変わっても同じ会話の流れを維持する。以下のように使います。

[Shot 1] (S1) <d>[English] I was going to tell you something...</d> <scenetrans>

[Shot 2] (S1) <d>[English] ...but I changed my mind.</d>

これで[Shot 1]から[Shot 2]へ場面が切り替わってもセリフが続きます。

<cutoff>

動画終了や場面切り替えによりセリフが途切れる。以下のように記述する

(S1) <d>[English] I was just about to tell you that...</d><cutoff>

FL2VAで使用する項目・ラベル

次は開始画像と終了画像を指定して生成するFL2VAで使用する項目とタグの一覧です。

How the reference pictures align with the target video — Picture 1 (from Shot 1) aligns with the 0.00-second mark of the target video; Picture 2 (from Shot N) aligns with the S.SS-second mark of the target video.

参照画像が動画のどの時間に対応するかを記述。FL2VAモードで生成する際にほぼ必須と言えるプロンプトです。上記の場合、Picture 1を0秒、Picture 2を指定したShotと時間です。” (from Shot N) “のNの部分を該当するショット番号に、” S.SS-second “の部分を終了時間に置き換えてください。

How the reference pictures align with the target video — Picture 1 (from Shot 1) aligns with the 0.00-second mark of the target video; Picture 2 (from Shot 3) aligns with the 10.00-second mark of the target video.

上記の場合、Picture 1をShot 1の0秒で使用し、Picture 2をShot 3の10秒で使用します。

integrated_multimodal_description:

動画内容についての記述。人物の動きやカメラの動き、光の当たり方や映像の雰囲気など。

integrated_multimodal_description:
ここに動画内容の記述

overall_soundscape:

全体的な音環境についての記述。動画内の人物にも聞こえている音。足音や環境音など。

overall_soundscape:
ここに音に関する内容を記述

non_diegetic_music:

動画内の人物には聞こえていない音についての記述。BGMなど。

non_diegetic_music:
ここに音に関する内容を記述

BGMなしの場合は以下のように記述します。

non_diegetic_music:
N/A

<Picture N>

入力N番目の画像を指定するときに使用するラベル。FL2VAモードでは、最初に説明した” How the reference pictures align with the target video — ” で開始画像と終了画像を指定するので使用頻度は高くありません。

[Shot N]

動画の各カットを表すラベル。動画の開始部分は[Shot 1]となります。
[Shot 1]から[Shot 2]へ場面を切り替えたい場合は以下のようになります。

[Shot 2] At 00:05:000, the ...

これで5秒目から場面が切り替わります。

<d>…</d>

セリフや歌詞用のラベル。このタグで囲んだ部分がセリフになります。

<d>[Japanese] こんにちは。</d>

上記のプロンプトの場合、キャラクターが「こんにちは」と喋ります。

(S1),(S2)

話者を表すラベル。

(S1) <d>[English] Hello. How are you?</d>

(S2) <d>[English] I'm fine.</d>

上記のプロンプトだと、(S1)が話者1、(S2)が話者2となります。

<Picture 1>のキャラを話者1として発話させるなら以下のようなプロンプトになります。

The young woman shown in <Picture 1> (S1) says:
<d>[English] ...</d>

もしキャラクターが2人いる場合は以下のように、外見などを詳細に記述します。

The young woman with long black hair (S1) says:
<d>[English] ...</d>

The young man in the blue jacket (S2) replies:
<d>[English] ...</d>

<scenetrans>

ショットをまたぐ会話。カットが変わっても同じ会話の流れを維持する。以下のように使います。

[Shot 1] (S1) <d>[English] I was going to tell you something...</d> <scenetrans>

[Shot 2] (S1) <d>[English] ...but I changed my mind.</d>

これで[Shot 1]から[Shot 2]へ場面が切り替わってもセリフが続きます。

<cutoff>

動画終了や場面切り替えによりセリフが途切れる。以下のように記述する

(S1) <d>[English] I was just about to tell you that...</d><cutoff>

　

スポンサーリンク

Ref2VAで使用する項目・ラベル

次はRef2VAで使用する項目とタグの一覧です。

overall_soundscape:

全体的な音環境についての記述。動画内の人物にも聞こえている音。足音や環境音など。

overall_soundscape:
ここに音に関する内容を記述

non_diegetic_music:

動画内の人物には聞こえていない音についての記述。BGMなど。

non_diegetic_music:
ここに音に関する内容を記述

BGMなしの場合は以下のように記述します。

non_diegetic_music:
N/A

subject_definitions:

登場人物や物体の定義。以下の記述だと、<Subject 1>は女性、<Subject 2>は黒猫になります。

subject_definitions:
<Subject 1> is the young woman with long black hair, wearing a white dress.
<Subject 2> is the black cat sitting beside her.

summary:

動画全体の要約。

summary:
[reference generation] The target video follows the character shown in <Picture 1> as they drive to the seaside. During the journey, the character stops at a convenience store to shop for some items and later visits a gas station to refuel the car before continuing the drive to the sea.

上記のプロンプトでは、<Picture 1>のキャラが、車を運転して海まで行く。その道中でコンビニに寄ったりガソリンスタンドに寄ったりする。という内容になります。

プロンプトの最初は、後述するTask Typeというものを付けます。上記のプロンプト例だと” [reference generation] “がそれに当たります。
Task Typeを複数使用する場合は、” [Task Type + Task Type] ” のように書きます。

retention_analysis:

参照画像や動画のどの特徴を維持するか。

retention_analysis:
<Picture 1> (appears in [Shot 1], [Shot 2], [Shot 3]): fully_preserved - the character's identity, facial features, hairstyle, clothing, and body proportions are retained.

上記のプロンプトだと[Shot 1]～[Shot 3]で、<Picture 1>のキャラ特徴が完全に維持されるという記述になります。

構造としては、” <参照元ラベル> (使われるShot番号): Relationship Marker – 内容 ” となります。Relationship Markerについては後述します。

detailed_description:

動画の詳細な内容を記述。ここでは、キャラの動作や表情、どのタイミングで場面転換するかなど、動画の内容を記述します。プロンプトのメインとなる部分です。

<Picture N>

入力N番目の画像データを指定する時に使用するラベル。入力画像1と入力画像2のキャラが握手する場合、以下のようなプロンプトになります。

<Picture 1> and <Picture 2> shake hands.

<Video N>

入力N番目の動画データを指定する時に使用するラベル。基本的な使い方は<Picture N>と同じです。

<Audio N>

入力N番目の音声データを指定する時に使用するラベル。基本的な使い方は<Picture 1>と同じです。

<Subject N>

動画内で扱う人物や物体などを定義するラベル。

<Subject 1> is A woman with pink hair wearing a black jacket.

上記のプロンプトだと、<Subject 1>はピンク髪の黒色のジャケットを着た女性 となります。

呼び出すときは以下のようにして使います。

<Subject 1> walks toward the window.

また、Ref2VAモードで<Picture N>からキャラを参照する場合、基本的にこの<Subject N>ラベルに定義してから使用します。

<Subject 1> is the character shown in <Picture 1>, with short brown hair, a white T-shirt, and blue jeans. Preserve the character's identity and visual appearance.

前述した<Picture N>の説明で出したプロンプト例のように、” <Picture 1>と<Picture 2>が握手する ” というような書き方ではなく、予めキャラ設定を<Subject N>に定義しておき、” <Subject 1>と<Subject 2>が握手する ” というような書き方が基本となります。

[Shot N]

動画の各カットを表すラベル。動画の開始部分は[Shot 1]となります。
[Shot 1]から[Shot 2]へ場面を切り替えたい場合は以下のようになります。

[Shot 2] At 00:05:000, the ...

これで5秒目から場面が切り替わります。

<d>…</d>

セリフや歌詞用のラベル。このタグで囲んだ部分がセリフになります。

<d>[Japanese] こんにちは。</d>

上記のプロンプトの場合、キャラクターが「こんにちは」と喋ります。

(S1),(S2)

話者を表すラベル。

(S1) <d>[English] Hello. How are you?</d>

(S2) <d>[English] I'm fine.</d>

上記のプロンプトだと、(S1)が話者1、(S2)が話者2となります。

話者IDをキャラクターに紐づける場合は、<Picture N>ではなく以下のように<Subject N>を使います。

<Subject 1> (S1) turns toward the camera and says:
<d>[English] ...</d>

また、話者IDに対して<Audio N>の声質を割り当てる場合は以下のようの記述にします。

<Audio 1> is the voice-timbre reference for <Subject 1> (S1).

<scenetrans>

ショットをまたぐ会話。カットが変わっても同じ会話の流れを維持する。以下のように使います。

[Shot 1] (S1) <d>[English] I was going to tell you something...</d> <scenetrans>

[Shot 2] (S1) <d>[English] ...but I changed my mind.</d>

これで[Shot 1]から[Shot 2]へ場面が切り替わってもセリフが続きます。

<cutoff>

動画終了や場面切り替えによりセリフが途切れる。以下のように記述する

(S1) <d>[English] I was just about to tell you that...</d><cutoff>

　

スポンサーリンク

Ref2VAでの summary: で使用するTask Type

Task Typeは、参照する画像や動画、音声をどのような役割で使うかを指定するものです。

Task Typeは全部で6つあるので、それぞれ説明していきます。

keyframe completion

参照画像をフレームに指定する時などに使います。

[keyframe completion] The target video begins from <Picture 1> and develops forward from this keyframe.

上記のプロンプトなら、参照画像を開始フレームとして扱います。

reference generation

参照する画像や動画、音声を生成する動画の参考として使う時に使用します。

[reference generation] The target video follows the camera movement and pacing of <Video 1>.

上記のプロンプトだと、<Video 1>のカメラワークを参考にして生成されます。

video editing

参照動画を編集する時に使用します。

[video editing] The target video is an edited version of <Video 1>. The character and actions remain unchanged, while the background is changed to a seaside environment.

上記のプロンプトでは、元動画の背景を海に変更して生成されます。

video continuation

参照動画の続きを生成する時に使用します。

[video continuation] The target video continues from the end of <Video 1>. The character gets out of the car, walks toward the beach, and looks out over the ocean.

上記のプロンプトでは<Video 1>の続きで、女性が車から降りて海を見るという内容になっています。

audio reuse

参照音声をそのまま使う時に使用します。

[audio reuse] The target video reuses the original audio from <Audio 1> while the character continues walking through the city.

上記のプロンプトでは、キャラクターが街を歩いている間、参照音声が再生されます。

audio reference

参照音声の特徴を参考にする時に使用します。

[audio reference] The target video features the character speaking in Japanese with the voice timbre of <Audio 1>.

上記のプロンプトでは、キャラクターが参照音声の声質で日本語を喋ります。

Ref2VAでの retention_analysis: 使用するRelationship Marker

Relationship Markerは、参照画像や動画、音声をどこまで参照するのかを指定するものです。
Relationship Markerは大きく分けて視覚系と音声系の2つがあります。

視覚系は<Subject N>、<Picture N>、<Video N>の3つのラベルのことを指します。
音声系は<Audio N>のラベルを指します。

視覚系と音声系では使用するマーカーも変わります。

それではそれぞれのマーカーについて説明していきます。

視覚系

fully_preserved

参照した内容を完全に維持します。

<Subject 1> (appears in [Shot 1], [Shot 2]): fully_preserved - the character's identity, facial features, hairstyle, and clothing are retained.

上記のプロンプトでは、[Shot 1]と[Shot 2]では<Subject 1>のキャラの特徴を完全に維持するという内容になります。

partially_preserved

参照した内容の一部を維持します。

<Subject 1> (appears in [Shot 1], [Shot 2]): partially_preserved - the character's identity and hairstyle are retained, but the clothing changes in [Shot 2].

上記のプロンプトでは、基本的に参照内容を維持しますが、[Shot 2]で服装を変更するという内容になっています。

attribute_transfer

参照した内容を、他の対象へ移します。

<Picture 2> ([Shot 1]): attribute_transfer - the hat shown in <Picture 2> is transferred to <Subject 1>.

上記のプロンプトでは、<Picture 2>の帽子を<Subject 1>のキャラに被せるという内容になっています。

weak_reference

大まかな特徴だけ参照します。

<Picture 1>: weak_reference - the overall color palette and visual atmosphere are loosely referenced.

上記のプロンプトでは、色調や雰囲気などが参照されます。

　

スポンサーリンク

音声系

fully_copy

参照音声をそのまま使用します。

<Audio 1>: fully_copy - <Audio 1> is playing as the in-store background music.

上記のプロンプトだと、<Audio 1>が店内BGMで流れているという内容になります。

partially_copy

参照音声の一部をそのまま使用します。
プロンプトはマーカー部分のみ変更して、後はfully_copyと同じような感じで使います。

reference

参照音声の話し方や声質などの特徴を参考にして音声を新しく生成します。

<Audio 1>: reference - <Subject 1> speaks with the voice timbre of <Audio 1>, without copying the original audio signal.

上記のプロンプトだと、<Subject 1>が<Audio 1>の声質で喋るという内容になります。

weak_reference

参照音声の大まかな雰囲気などを使用します。

<Audio 1>: weak_reference - loosely reference the voice character and conversational atmosphere of a customer talking at the next table in a cafe.

上記のプロンプトだと、隣の客の会話の雰囲気などを<Audio 1>から参照しています。

　

スポンサーリンク

実際のプロンプト例

項目やラベル、マーカーを用いて、実際に動画を生成するときに入力するプロンプト例です。

I2VAとFL2VAのプロンプト例

まずはI2VAやFL2VAでのプロンプトです。

” 8秒の動画 で、<Picture 1>を最初のフレームとする。 <Picture 2>を最後のフレームにする。 <Picture 1>のキャラが踊っていて、「ありがとう」と日本語で言う。BGMは無し。”

上記の内容の場合、プロンプトは以下のようになります。

How the reference pictures align with the target video — Picture 1 (from Shot 1) aligns with the 0.00-second mark of the target video; Picture 2 (from Shot 1) aligns with the 8.00-second mark of the target video.

integrated_multimodal_description: 
[Shot 1] The character shown in <Picture 1> begins in the exact pose, appearance, and composition established by <Picture 1>. The character starts dancing naturally and continuously, with the dance motion developing smoothly throughout the shot. While dancing, the character says in Japanese: <d>[Japanese] ありがとう。</d> The character continues dancing after speaking, and the movement gradually leads into the final pose and composition established by <Picture 2>. By the end of the 8-second shot, the character reaches the exact pose, appearance, positioning, and composition established by <Picture 2>.

overall_soundscape: 
Subtle sounds of body movement and clothing movement accompany the dancing.

non_diegetic_music: 
N/A

上記は開始画像と終了画像を指定するFL2VAでの生成ですが、開始画像のみを指定するI2VAでの生成の場合は以下のようになります。

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

integrated_multimodal_description:
[Shot 1] The character shown in <Picture 1> begins in the exact pose, appearance, and composition established by <Picture 1>. The character starts dancing naturally and continuously, with the dance motion developing smoothly throughout the shot. While dancing, the character says in Japanese: <d>[Japanese] ありがとう。</d> The character continues dancing naturally throughout the video.

overall_soundscape:
Subtle sounds of body movement and clothing movement accompany the dancing.

non_diegetic_music:
N/A

Ref2VAのプロンプト例

Ref2VAのプロンプトです。

” <Picture 1>のキャラが話者1。 <Picture 1>のキャラは<Picture 2>の帽子を被っている。 <Picture 1>のキャラが踊りながら<Audio 1>の声質で「ありがとう」と日本語で言う。 踊りは<Video 1>を参照する。3秒から[Shot 2]へ遷移。”

上記の内容の場合、プロンプトは以下のようになります。

subject_definitions:
<Subject 1> is the character in <Picture 1>, whose appearance and identity are preserved in the target video. <Subject 1> wears the hat shown in <Picture 2>. <Video 1> provides the dancing motion reference for <Subject 1>. <Audio 1> is the voice-timbre reference for <Subject 1> (S1).

summary:
[reference generation + audio reference] The target video features <Subject 1> dancing while wearing the hat from <Picture 2>. <Subject 1> uses the voice timbre referenced by <Audio 1> and says "ありがとう" in Japanese while dancing. The dancing motion is guided by <Video 1>. The video consists of two shots, with a cut at 3 seconds.

retention_analysis:
<Subject 1>: fully_preserved - preserve the character's identity and visual appearance from <Picture 1> throughout both shots.
<Picture 2>: attribute_transfer - transfer the hat's visual appearance and design to <Subject 1>.
<Video 1>: attribute_transfer - transfer the dancing motion to <Subject 1>.
<Audio 1>: reference - its voice timbre is referenced for <Subject 1>'s dialogue without copying the original audio signal.

detailed_description:
[Shot 1] <Subject 1> appears with the identity and visual appearance established by <Picture 1>, wearing the hat shown in <Picture 2>. The character dances continuously using the dancing motion referenced by <Video 1>. While dancing, <Subject 1> (S1) says in Japanese using the voice timbre referenced by <Audio 1>, <d>[Japanese] ありがとう。</d> The speech is clearly articulated and naturally synchronized with the character's mouth movements.

[Shot 2] At 00:03.000, the video cuts to a new shot. <Subject 1> continues dancing with motion based on <Video 1>, while maintaining the same character identity, appearance, hat, and voice characteristics established in Shot 1. The transition between the two shots is a clean visual cut, and the character's motion continues naturally after the cut.

overall_soundscape:
Subtle natural sounds of body movement and clothing movement accompany the dancing. The spoken dialogue is clearly audible above the physical movement sounds.

non_diegetic_music:
N/A

最後に

MiniMaxのプロンプトはだいぶ複雑となっていますが、これを使いこなすことでよりクオリティの高い動画を作成することが出来るようになるので、頑張って覚えてみてください。

それでは！