使い方

最初の1本ができたら、画像を使った生成やプロジェクトでの複数生成に進みましょう。内容はH3cApp v0.6.0に合わせています。

画像から動画をつくる

パネル左上で「画像から」を選ぶと、画像の使い方を2つから選べます。意味が大きく違うので、目的に合わせて選んでください。

最初・最後の画像参照画像・動画・音声
何をするか指定した画像から動き始める動画をつくります。最後の画像も指定すると、そこで終わるようにつながります。画像・動画・音声の特徴(人物、雰囲気、音など)を参考にして新しい動画をつくります。最初のフレームが参照画像と同じになるとは限りません。
必要なモデルFL2VA(最初にダウンロードするもの)Ref2VA(あとから追加)。M5クラスで「高速(int8キャッシュ)」を使うなら、Ref2VA用のキャッシュも作ります。
指定のしかた「最初の画像」で画像を選び、必要なら「最後の画像も指定…」「ファイルを選ぶ…」で追加。追加した順に1つ目、2つ目…として扱われます。順番を変えたいときは、取り除いてから追加し直します。
注意画像は生成する画面の形に合わせて中央を切り抜きます。音声だけを参照にはできません。画像か動画と組み合わせてください。大きな参照動画は時間が長くなります。

例

プロンプト欄のファイル名をクリックすると、使っている画像や動画の中身を確認できます。生成した動画も、プレビューの「参照に使う」で参照に追加できます。

音声に合わせる(リップシンク)

声や歌の音声ファイルを選ぶと、その音声に合わせて、口の動きなどの映像をつくります。動画の音は、選んだ音声そのものになります。

  1. 音声を選びます。入力パネルの「音声に合わせる(リップシンク)…」を押し、音声ファイル(音の入った動画ファイルも使えます)を選びます。
  2. 開始位置を決めます。音声の何秒目から使うかを「秒から」の欄に入れます。そこから、動画の長さの分だけ使われます。
  3. プロンプトを書いて生成します。誰が、どこで、どのように話したり歌ったりしているかを書きます。「文章から」でも、「画像から」の最初の画像(話す人の写真など)と組み合わせても使えます。

他人の声や歌、人物の写真を使うときは、著作権や肖像権に注意し、本人の同意を得てください。実在の人物になりすますような動画はつくらないでください。

プロジェクトと複数生成

プロジェクトは、プロンプトと設定、参照ファイルのコピー、生成した動画をまとめて保存するフォルダです。既定の保存先は ~/Movies/H3cApp/<名前> です。プロジェクトを開いていないときにできた動画は一時ファイルで、次の生成で消えます。

プロジェクトをつくる・開く

同じ設定で複数本つくる

  1. プロンプト欄の下の本数ボタンで「3 本」などを選びます(1〜20本)。
  2. 生成ボタンを押すと、シードを変えながら続けて生成し、プロジェクトに保存します。「ランダムさ」を「固定する」にしているときは、1本目だけそのシードを使い、2本目以降はランダムなシードで生成します。
  3. プロジェクトを開いていない状態で2本以上を選んで生成すると、「プロジェクトを選んで生成」の画面が出ます。「新しいプロジェクト」をつくるか、「既存のプロジェクト」を選びます。「キャンセル」なら生成せずに戻ります。
  4. 既存のプロジェクトを選んだとき、そこに保存されているプロンプトと設定が今のものと違うと、上書きしてよいか確認されます。「上書きして生成」で、今のプロンプトと設定で生成してプロジェクトに保存します。

できた動画を見る・使う

プロジェクトメニューの「プロジェクトの動画…」で一覧が開きます。

プレビュー上部の「使用した設定…」では、表示中の動画の設定を確認したり、「フォームに戻す」でパネルに戻したりできます。

速度に関わる3つの設定

「詳細設定」には、速さに関わる設定が3つあります。名前が似ていますが、それぞれ別のものです。

設定選択肢何が変わるか
計算方式 高速(int8キャッシュ)/常駐(大容量メモリ向け、キャッシュ不要)/省メモリ(SSDストリーミング) モデルの読み込み方と計算のしかた。Macの性能に合わせて選びます。「高速(int8キャッシュ)」はM5クラスのGPUが必要です。常駐はメモリに大きな余裕があるMac向けです。
速度 標準(高品質)/高速/最速 処理の一部を省いて速くします。省き方が変わるので、同じシードでも仕上がりが変わることがあります。
高速モード(試験的) オン/オフ(既定はオフ) M5の対応環境でだけ表示される別の機能です。長い動画ほど効果があり、短い・小さな動画では速くならないこともあります。同じシードでも仕上がりが変わります。

まずは既定の設定で小さな動画をつくり、待ち時間が長すぎるときに速度設定を試すのがおすすめです。詳細設定の「サイズ」には、今の設定でのおおよその所要時間が、このMacのこれまでの生成実績から表示されます。

詳細設定のすべての項目は、詳細設定の解説で説明しています。「生成ステップ数」「ノイズ除去の再利用」「使用する層数」もここにあります。層数を減らすと音声が壊れることがあるため、慣れるまでは変えないでください。

サイズと2倍拡大

プロンプト欄の下の「画面の形」と「大きさ」で選びます。大きいほど時間がかかります。

画面の形小中大
正方形256×256512×512768×768
横長448×256672×384960×544
縦長256×448384×672544×960
生成するサイズ(v0.5.0)。最初に選ばれているのは正方形・中です。

動画の続きを作る

できた動画の続きを、もう1本つくれます。元の動画の最後の約0.9秒とその音を引き継ぐので、新しい動画は、元の動画の終わりと同じ場面から始まります。

  1. 続きを作る動画を選びます。プレビューに動画を表示しているときは、パネルの「続きを生成」を押します。一覧からは、「プロジェクトの動画…」で動画の「その他」→「この動画の続きを作る」を選びます。プロジェクトに入っていない動画は、先にプロジェクトとして保存します。
  2. プロンプトを直して生成します。元の動画のプロンプトと設定がパネルに戻り、「続き」の欄に元の動画が表示されます。次に起きることに合わせてプロンプトを書き換え、生成します。
  3. つなぎます。続きの動画を表示しているときに、パネルの「つないで書き出す」を押すと、最初の元の動画からその動画までを重なりでつないだ1本の動画が、プロジェクトに書き出されます。一覧の「その他」→「ここまでをつないで書き出す」でも同じです。続きの続きを重ねてから、最後にまとめてつなぐこともできます。

長さを決めて一度に長い動画をつくるなら、次のつなげて生成が便利です。

長い動画をつくる(つなげて生成)

1回の生成でつくれるのは15秒までです。それより長い動画(90秒まで)は、「つなげて生成」でつくります。短い動画を前の動画の続きとして順につくり、つなぎ目の重なりで1本にまとめる機能です。

  1. プロジェクトを開きます。つなぐ前の動画と、つないだ動画を保存するために必要です。開いていないときは、生成ボタンを押したときに、新しく作るか既存のものを選ぶ画面が出ます。
  2. 長さを選びます。プロンプト欄の下の長さのメニューで、「つなげて生成」の欄から「つないで15秒」か、20/30/45/60/90秒を選びます。ほかの長さは「カスタム…」で1〜90秒を入力します(16秒以上は自動でつなげて生成になります)。パネルの下の要約に「5本をつなぐ(1本約7秒)」のように本数が出ます。
  3. 生成します。2本目からは、前の動画の最後の約0.9秒とその音を引き継いで続きをつくります。生成中は「つなげて生成:全5本中2本目を生成しています」と、全体の経過・残り時間・完了予定が表示されます。
  4. できあがり。重なりの部分をなめらかにつないだ1本の動画になり、プレビューに表示されます。「プロジェクトの動画…」の一覧では「つないだ動画(5本・30.7秒)」として1行に並び、もとの動画はその下にまとめられます。

時間がかかります。M5・メモリ24GBのMac、横長・中(672×384)では、できあがる動画1秒あたり約105秒かかりました(30秒の動画で約50分、90秒で約2時間半)。今の設定でのおおよその時間は、詳細設定の「このMacでの目安」で確認できます。まずは「つないで15秒」や、小さいサイズで試すのがおすすめです。

プロンプトの書き方

映っているもの、動き、カメラ、音を、短い文で順に書くと伝わりやすくなります。

音の様子もプロンプトで指定できます。話し声や音楽が不要なら「no speech」「no music」のように書きます。

モデル提供元のプロンプト作成ガイド(英語)も参考になります。このサイトの例は英語です。日本語のプロンプトでの仕上がりは確認していません。

追加モデル(LoRA)を使う(任意)

LoRAは、MiniMax H3に重ねて使う小さな追加の重みファイルです。少ないステップで生成できるようにする「Turbo」LoRAや、特定の見た目・動きを学習させたLoRAがあります。使わなくても、H3cAppはそのまま動画をつくれます。慣れてから試せば十分です。

LoRAファイルを用意する

H3cAppはLoRAをダウンロードしないので、MiniMax H3用の .safetensors ファイルを自分で入手します。ほかの動画モデル用のLoRAは使えません。

速く生成したいときは、lightx2vが公開しているMinimax-h3-Turbo(Hugging Face)が使えます。ファイル名で用途が分かれています。

アプリは、どちらのモード用のファイルかを事前に判定できません。使うモードに合ったファイルをオンにしてください。

登録して使う

「モデル管理」の「LoRA」タブ。Turbo LoRAとDMADの2つが登録され、それぞれにチェックボックス、ファイル名、ファイルの場所、「diffusers・50/50ブロック+refiner・rank 128」という情報、「強さ」と「ステップ」の入力欄がある。その下に「ステップの進め方」のメニュー(Turboは「自動(Euler)」、DMADは「自動(re-noise)」)と「音声シフト」の欄がある。DMADにチェックが入っている。右下に「追加…」ボタンがある。
「モデル管理」の「LoRA」タブ(v0.4.7の実画面)。lightx2vのTurbo LoRAとDMADを登録した例です。ファイルごとに形式・対象のブロック数・rankが表示され、「強さ」「ステップ」と、その下の「ステップの進め方」「音声シフト」を設定できます。
  1. ツールバーの「モデル管理」を開き、「LoRA」タブを選びます。
  2. 「追加…」で .safetensors ファイルを選びます。読み込めるファイルなら、形式・対象のブロック数・rankが表示されます。MiniMax H3用として読み込めない場合は、その理由が表示されます。
  3. 使うLoRAをオンにします。モデル管理のチェックボックスか、「詳細設定」の「追加モデル(LoRA)」でオンにします。「強さ」は効き具合の倍率で、空欄は1です。
  4. いつもどおり生成します。オンにしたLoRAは、オフにするまでの生成すべてに使われます。

Turbo LoRAとステップ数

Turbo LoRAは、決まったステップ数(4や8)で生成するように学習されています。ファイル名に 4step などが入っていれば、アプリがそのステップ数を読み取り、オンにしたときに「生成ステップ数」を合わせます。オフにすると、ステップ数を自分で変えていなければ元に戻ります。

ステップの進め方と音声シフト

少ないステップ向けのLoRAには、学習したときの「ステップの進め方」が決まっているものがあります。モデル管理では、LoRAごとに次の2つを設定できます。ふだんは「自動」と空欄のままで構いません。

たとえばDMADの4ステップLoRAは、ファイルの説明に「re-noise」「音声シフト2」と書かれているので、「自動」のままで学習時の条件になります。説明が書かれていないLoRAは、配布元の説明を見て設定してください。学習時と違う進め方で動かすと、ぼやけたり残像が出たりします。

オンにしたLoRAのうち1つでもre-noiseならre-noiseで生成します。使った進め方と音声シフトは、「使用した設定…」と動画の記録に残ります。

知っておくこと

対応する形式:diffusers/PEFT、ComfyUI、kohya の各形式(BF16/F16/F32)。すべてのLoRAが使えるとは限りません。詳しくはREADMEのLoRAをご覧ください。

LoRAには、それぞれの配布元の利用条件があります。MiniMax H3のライセンス(ライセンスと利用条件)とあわせて確認してください。

上級者向け

ローカルAPI

H3cAppは、同じMacの中からだけ使えるHTTP APIを持っています(127.0.0.1)。スクリプトから生成を指示したい場合に使います。仕様はREADMEのAPIをご覧ください。

ソースからのビルド

配布アプリを使う場合は不要です。開発者向けの手順はREADMEのソースからのビルドにあります。