使い方
最初の1本ができたら、画像を使った生成やプロジェクトでの複数生成に進みましょう。内容はH3cApp v0.6.0に合わせています。
画像から動画をつくる
パネル左上で「画像から」を選ぶと、画像の使い方を2つから選べます。意味が大きく違うので、目的に合わせて選んでください。
| 最初・最後の画像 | 参照画像・動画・音声 | |
|---|---|---|
| 何をするか | 指定した画像から動き始める動画をつくります。最後の画像も指定すると、そこで終わるようにつながります。 | 画像・動画・音声の特徴(人物、雰囲気、音など)を参考にして新しい動画をつくります。最初のフレームが参照画像と同じになるとは限りません。 |
| 必要なモデル | FL2VA(最初にダウンロードするもの) | Ref2VA(あとから追加)。M5クラスで「高速(int8キャッシュ)」を使うなら、Ref2VA用のキャッシュも作ります。 |
| 指定のしかた | 「最初の画像」で画像を選び、必要なら「最後の画像も指定…」 | 「ファイルを選ぶ…」で追加。追加した順に1つ目、2つ目…として扱われます。順番を変えたいときは、取り除いてから追加し直します。 |
| 注意 | 画像は生成する画面の形に合わせて中央を切り抜きます。 | 音声だけを参照にはできません。画像か動画と組み合わせてください。大きな参照動画は時間が長くなります。 |
例
- 最初の画像:自分で撮った風景写真を指定し、「ゆっくり雲が流れ、木の葉が揺れる」といったプロンプトで動かす。
- 参照:キャラクターの画像を参照に入れ、「そのキャラクターが公園を歩く」といったプロンプトで新しい場面をつくる。
プロンプト欄のファイル名をクリックすると、使っている画像や動画の中身を確認できます。生成した動画も、プレビューの「参照に使う」で参照に追加できます。
音声に合わせる(リップシンク)
声や歌の音声ファイルを選ぶと、その音声に合わせて、口の動きなどの映像をつくります。動画の音は、選んだ音声そのものになります。
- 音声を選びます。入力パネルの「音声に合わせる(リップシンク)…」を押し、音声ファイル(音の入った動画ファイルも使えます)を選びます。
- 開始位置を決めます。音声の何秒目から使うかを「秒から」の欄に入れます。そこから、動画の長さの分だけ使われます。
- プロンプトを書いて生成します。誰が、どこで、どのように話したり歌ったりしているかを書きます。「文章から」でも、「画像から」の最初の画像(話す人の写真など)と組み合わせても使えます。
- 大きさ:中サイズ以上がおすすめです。横長・小(448×256)では、色のついた光の玉が出やすくなります。
- 長さ:音声が動画より短いと、残りは無音になります。開始位置が音声の終わりより後だと生成できません。
- 長い音声:続きを作るやつなげて生成では、1本ごとに音声の開始位置が自動で進むので、長い音声に合わせた動画をつくれます。
- 時間:生成時間は、音声を使わない場合とほとんど変わりません。
- やめるときは「取り除く」を押します。
他人の声や歌、人物の写真を使うときは、著作権や肖像権に注意し、本人の同意を得てください。実在の人物になりすますような動画はつくらないでください。
プロジェクトと複数生成
プロジェクトは、プロンプトと設定、参照ファイルのコピー、生成した動画をまとめて保存するフォルダです。既定の保存先は ~/Movies/H3cApp/<名前> です。プロジェクトを開いていないときにできた動画は一時ファイルで、次の生成で消えます。
プロジェクトをつくる・開く
- 左上のプロジェクトメニュー(フォルダのアイコン)、またはメニューバーの「プロジェクト」から操作します。
- 「新規プロジェクト…」:名前と保存先を決めて作成します。今のプロンプトと設定、参照ファイルが入ります。
- 「プロジェクトとして保存…」:プロジェクトを開いていないときに、今のプロンプトと設定、プレビューに表示中の動画をまとめて保存します。
- 「プロジェクトを開く…」「最近のプロジェクト」:保存したプロジェクトを開くと、プロンプトと設定が保存時の状態に戻ります。
同じ設定で複数本つくる
- プロンプト欄の下の本数ボタンで「3 本」などを選びます(1〜20本)。
- 生成ボタンを押すと、シードを変えながら続けて生成し、プロジェクトに保存します。「ランダムさ」を「固定する」にしているときは、1本目だけそのシードを使い、2本目以降はランダムなシードで生成します。
- プロジェクトを開いていない状態で2本以上を選んで生成すると、「プロジェクトを選んで生成」の画面が出ます。「新しいプロジェクト」をつくるか、「既存のプロジェクト」を選びます。「キャンセル」なら生成せずに戻ります。
- 既存のプロジェクトを選んだとき、そこに保存されているプロンプトと設定が今のものと違うと、上書きしてよいか確認されます。「上書きして生成」で、今のプロンプトと設定で生成してプロジェクトに保存します。
できた動画を見る・使う
プロジェクトメニューの「プロジェクトの動画…」で一覧が開きます。
- 「表示」(またはプレビュー画像をクリック):プレビューに表示し、その動画のプロンプトと設定もシードを固定してパネルに戻します。
- 「設定を戻す」:その動画のプロンプトと設定を、シードを固定してパネルに戻します。そのまま生成すると同じ動画をつくり直せます。
- 「参照に使う」:その動画を参照動画として追加します(Ref2VAが必要)。
- 「その他」→「この動画の続きを作る」「ここまでをつないで書き出す」:動画の続きを作るを参照。
- 「削除…」:動画と設定の記録をゴミ箱に移動します。
プレビュー上部の「使用した設定…」では、表示中の動画の設定を確認したり、「フォームに戻す」でパネルに戻したりできます。
速度に関わる3つの設定
「詳細設定」には、速さに関わる設定が3つあります。名前が似ていますが、それぞれ別のものです。
| 設定 | 選択肢 | 何が変わるか |
|---|---|---|
| 計算方式 | 高速(int8キャッシュ)/常駐(大容量メモリ向け、キャッシュ不要)/省メモリ(SSDストリーミング) | モデルの読み込み方と計算のしかた。Macの性能に合わせて選びます。「高速(int8キャッシュ)」はM5クラスのGPUが必要です。常駐はメモリに大きな余裕があるMac向けです。 |
| 速度 | 標準(高品質)/高速/最速 | 処理の一部を省いて速くします。省き方が変わるので、同じシードでも仕上がりが変わることがあります。 |
| 高速モード(試験的) | オン/オフ(既定はオフ) | M5の対応環境でだけ表示される別の機能です。長い動画ほど効果があり、短い・小さな動画では速くならないこともあります。同じシードでも仕上がりが変わります。 |
まずは既定の設定で小さな動画をつくり、待ち時間が長すぎるときに速度設定を試すのがおすすめです。詳細設定の「サイズ」には、今の設定でのおおよその所要時間が、このMacのこれまでの生成実績から表示されます。
詳細設定のすべての項目は、詳細設定の解説で説明しています。「生成ステップ数」「ノイズ除去の再利用」「使用する層数」もここにあります。層数を減らすと音声が壊れることがあるため、慣れるまでは変えないでください。
サイズと2倍拡大
プロンプト欄の下の「画面の形」と「大きさ」で選びます。大きいほど時間がかかります。
| 画面の形 | 小 | 中 | 大 |
|---|---|---|---|
| 正方形 | 256×256 | 512×512 | 768×768 |
| 横長 | 448×256 | 672×384 | 960×544 |
| 縦長 | 256×448 | 384×672 | 544×960 |
- 2倍に拡大:「大きさ」メニューの「2倍に拡大」をオンにすると、生成した動画を高品質なリサンプリングで縦横2倍にします。AIで細部を描き足す超解像ではありません。拡大にかかる時間はわずかです。例:横長・大を2倍にすると1920×1088になります(1920×1080ちょうどではありません)。
- カスタムサイズ:「詳細設定」の「サイズ」で「カスタムサイズを使う」をオンにすると、完成サイズを幅と高さで指定できます。生成するサイズは60万ピクセル以下という上限があります。
- 長さ:1回の生成では1〜15秒です。モデルの仕組み上、実際の長さは少し長めになります(例:5秒を選ぶと約5.2秒)。15秒より長い動画は、つなげて生成でつくります(90秒まで)。
動画の続きを作る
できた動画の続きを、もう1本つくれます。元の動画の最後の約0.9秒とその音を引き継ぐので、新しい動画は、元の動画の終わりと同じ場面から始まります。
- 続きを作る動画を選びます。プレビューに動画を表示しているときは、パネルの「続きを生成」を押します。一覧からは、「プロジェクトの動画…」で動画の「その他」→「この動画の続きを作る」を選びます。プロジェクトに入っていない動画は、先にプロジェクトとして保存します。
- プロンプトを直して生成します。元の動画のプロンプトと設定がパネルに戻り、「続き」の欄に元の動画が表示されます。次に起きることに合わせてプロンプトを書き換え、生成します。
- つなぎます。続きの動画を表示しているときに、パネルの「つないで書き出す」を押すと、最初の元の動画からその動画までを重なりでつないだ1本の動画が、プロジェクトに書き出されます。一覧の「その他」→「ここまでをつないで書き出す」でも同じです。続きの続きを重ねてから、最後にまとめてつなぐこともできます。
- 使える条件:続きは「文章から」でつくります(最初の画像や参照は使えません)。大きさは元の動画と同じにします。
- シード:続きを作るときは、シードは固定されず、毎回変わります。
- 古い動画:v0.5.0より前に作った動画には、続きを作るためのデータがないので、続きは作れません。v0.5.0からは、動画ごとに小さなデータファイル(
.h3lt、横長・中の5秒で約3.6MB)を並べて保存します。 - 時間:続きは、新しく作るより約2割長くかかります(M5・24GB、横長・中の5秒で364秒に対して446秒)。
長さを決めて一度に長い動画をつくるなら、次のつなげて生成が便利です。
長い動画をつくる(つなげて生成)
1回の生成でつくれるのは15秒までです。それより長い動画(90秒まで)は、「つなげて生成」でつくります。短い動画を前の動画の続きとして順につくり、つなぎ目の重なりで1本にまとめる機能です。
- プロジェクトを開きます。つなぐ前の動画と、つないだ動画を保存するために必要です。開いていないときは、生成ボタンを押したときに、新しく作るか既存のものを選ぶ画面が出ます。
- 長さを選びます。プロンプト欄の下の長さのメニューで、「つなげて生成」の欄から「つないで15秒」か、20/30/45/60/90秒を選びます。ほかの長さは「カスタム…」で1〜90秒を入力します(16秒以上は自動でつなげて生成になります)。パネルの下の要約に「5本をつなぐ(1本約7秒)」のように本数が出ます。
- 生成します。2本目からは、前の動画の最後の約0.9秒とその音を引き継いで続きをつくります。生成中は「つなげて生成:全5本中2本目を生成しています」と、全体の経過・残り時間・完了予定が表示されます。
- できあがり。重なりの部分をなめらかにつないだ1本の動画になり、プレビューに表示されます。「プロジェクトの動画…」の一覧では「つないだ動画(5本・30.7秒)」として1行に並び、もとの動画はその下にまとめられます。
- 1本の長さ:「詳細設定」の「つなげて生成の1本の長さ」で、約7秒(標準)か約5秒を選べます。長いほど、つなぎ目が少なくなります。
- さらに延ばす:つないだ動画を表示しているときに、パネルの「続きを生成」で続きを1本つくれます。できたら「つないで書き出す」で、全体をもう一度1本にします。
- 途中で止めたとき:2本以上できていれば、そこまでをつないだ動画が残ります。
- 同じ動画を作り直す:「ランダムさ」を「固定する」にすると、同じ設定で同じ連なりをつくれます(2本目からはシードを1ずつ増やします)。
- 最初の画像・参照:最初の画像や参照は、1本目にだけ使われます。
- 削除:つないだ動画を削除すると、もとの動画もまとめてゴミ箱に移動します。
時間がかかります。M5・メモリ24GBのMac、横長・中(672×384)では、できあがる動画1秒あたり約105秒かかりました(30秒の動画で約50分、90秒で約2時間半)。今の設定でのおおよその時間は、詳細設定の「このMacでの目安」で確認できます。まずは「つないで15秒」や、小さいサイズで試すのがおすすめです。
プロンプトの書き方
映っているもの、動き、カメラ、音を、短い文で順に書くと伝わりやすくなります。
- 何が映っているか:A small orange cat on a wooden floor
- どう動くか:plays with a ball of yarn, gentle movement
- カメラ:Static camera / Slow push-in camera
- 音:Soft room ambience, no speech, no music
音の様子もプロンプトで指定できます。話し声や音楽が不要なら「no speech」「no music」のように書きます。
モデル提供元のプロンプト作成ガイド(英語)も参考になります。このサイトの例は英語です。日本語のプロンプトでの仕上がりは確認していません。
追加モデル(LoRA)を使う(任意)
LoRAは、MiniMax H3に重ねて使う小さな追加の重みファイルです。少ないステップで生成できるようにする「Turbo」LoRAや、特定の見た目・動きを学習させたLoRAがあります。使わなくても、H3cAppはそのまま動画をつくれます。慣れてから試せば十分です。
LoRAファイルを用意する
H3cAppはLoRAをダウンロードしないので、MiniMax H3用の .safetensors ファイルを自分で入手します。ほかの動画モデル用のLoRAは使えません。
速く生成したいときは、lightx2vが公開しているMinimax-h3-Turbo(Hugging Face)が使えます。ファイル名で用途が分かれています。
fl2vが入ったもの:「文章から」と「最初・最後の画像」用ref2vが入ったもの:「参照画像・動画・音声」用4step/8step:そのLoRAで生成するときのステップ数
アプリは、どちらのモード用のファイルかを事前に判定できません。使うモードに合ったファイルをオンにしてください。
登録して使う
- ツールバーの「モデル管理」を開き、「LoRA」タブを選びます。
-
「追加…」で
.safetensorsファイルを選びます。読み込めるファイルなら、形式・対象のブロック数・rankが表示されます。MiniMax H3用として読み込めない場合は、その理由が表示されます。 - 使うLoRAをオンにします。モデル管理のチェックボックスか、「詳細設定」の「追加モデル(LoRA)」でオンにします。「強さ」は効き具合の倍率で、空欄は1です。
- いつもどおり生成します。オンにしたLoRAは、オフにするまでの生成すべてに使われます。
Turbo LoRAとステップ数
Turbo LoRAは、決まったステップ数(4や8)で生成するように学習されています。ファイル名に 4step などが入っていれば、アプリがそのステップ数を読み取り、オンにしたときに「生成ステップ数」を合わせます。オフにすると、ステップ数を自分で変えていなければ元に戻ります。
- 4ステップ用なら、ステップ数が既定の20から4に減るので、生成時間が大きく短くなります。仕上がりはLoRAを使わない場合と変わります。
- 学習したステップ数以外では品質が落ちます。ステップ数を手で変えた場合は、詳細設定の注意書きが赤くなります。
- ファイル名から読み取れない場合は、モデル管理の「ステップ」欄に入力します。空欄なら通常のLoRAとして扱われます。
- Turbo LoRAは1つだけオンにしてください。複数重ねると効果が強くなりすぎます。
ステップの進め方と音声シフト
少ないステップ向けのLoRAには、学習したときの「ステップの進め方」が決まっているものがあります。モデル管理では、LoRAごとに次の2つを設定できます。ふだんは「自動」と空欄のままで構いません。
- ステップの進め方:「自動」「Euler」「re-noise(LCM方式)」から選びます。
- Eulerは、H3cAppの標準の進め方です。lightx2vのTurbo LoRAはこちらで学習されています。
- re-noiseは、ComfyUIの「lcm」サンプラーと同じ計算です。LCMやDMD系のLoRAでよく推奨されます。re-noiseのときは、ノイズ除去の再利用は1になります。
- 自動は、LoRAファイルの説明に書かれた進め方を使います。書かれていなければEulerです。ファイル名からは判断しません。カッコ内に、ファイルから読み取った進め方が表示されます。
- 音声シフト:音声のノイズの減らし方を決める値です。空欄なら、ファイルの説明に書かれた値(なければ標準の3)を使います。
たとえばDMADの4ステップLoRAは、ファイルの説明に「re-noise」「音声シフト2」と書かれているので、「自動」のままで学習時の条件になります。説明が書かれていないLoRAは、配布元の説明を見て設定してください。学習時と違う進め方で動かすと、ぼやけたり残像が出たりします。
オンにしたLoRAのうち1つでもre-noiseならre-noiseで生成します。使った進め方と音声シフトは、「使用した設定…」と動画の記録に残ります。
知っておくこと
- 最大8個まで重ねられます。効果は足し合わされます。
- 3つの計算方式のどれでも使えます。LoRAの分だけ、1ステップあたりの時間は少し長くなります。
- オンにしたLoRAと強さは、生成した動画の設定やプロジェクトに記録されます。プロジェクトを開いたときにそのLoRAがモデル管理に登録されていないと、使えない旨が表示されます。
- モデル管理の「削除」は一覧から外すだけで、ファイルは消えません。
対応する形式:diffusers/PEFT、ComfyUI、kohya の各形式(BF16/F16/F32)。すべてのLoRAが使えるとは限りません。詳しくはREADMEのLoRAをご覧ください。
LoRAには、それぞれの配布元の利用条件があります。MiniMax H3のライセンス(ライセンスと利用条件)とあわせて確認してください。
上級者向け
ローカルAPI
H3cAppは、同じMacの中からだけ使えるHTTP APIを持っています(127.0.0.1)。スクリプトから生成を指示したい場合に使います。仕様はREADMEのAPIをご覧ください。
ソースからのビルド
配布アプリを使う場合は不要です。開発者向けの手順はREADMEのソースからのビルドにあります。