【Luma Dream Machine】プロンプトガイドやFAQを検証してみた

はじまり
動画生成AIのプロンプトのコツを抑えたい
Luma Dream Machineのプロンプトガイド
プロンプトガイドの確認
1. プロンプトの方法（画像からビデオにする場合）
2. プロンプトの方法（テキストからビデオにする場合）
FAQの確認
おまけ：ログイン時に認証エラーになることがある
まとめ
生成AI関連の書籍
おしまい

はじまり

リサちゃん

コイツ、どうやってプロンプトしていけばイイんだ！？

135ml

そこらへんを把握してから使っていきたいよな。

※当ページはアフィリエイト広告を利用しています。

動画生成AIのプロンプトのコツを抑えたい

というのが、今回の記事の主旨です。

そこで今回取り扱うのが、「Luma AI」という会社が提供している、「Dream Machine」という動画生成AIです。

先日、Luma Dream Machineの年間サブスクリプションに登録してしまったので、（本当は月間にしたかった・・・。）これは使い倒さなければと思い、Luma Dream Machineを掘り下げてみようと思います。

色々とプロンプトを検証しながら、動画生成AIに対するプロンプトのコツを掴んでいきたいと思います。

Luma Dream Machineのプロンプトガイド

まずは、「Luma AI」から掲示されている、「Dream Machine」のプロンプトガイドを一通り見ていきます。

そのプロンプトガイド（に加えてFAQ）は以下のリンク内で公開されています。サイトがNotionで作成されているので、更新が早そうです。

Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

プロンプトガイドの確認

まずは、プロンプトガイドの方から確認していきます。

プロンプトの方法（画像からビデオにする場合）

以下が公式ドキュメントの内容です。

JPG、JPEG、またはPNG画像を生成ページの画像アイコンをクリックしてアップロードします。シーンを説明するプロンプトを提供することもできます。

「Enhance Prompt」を有効にすると、シーンで起こしたいことを簡単に説明するだけで済みます。例えば、<image of a car> + “*a red car driving on a road*”

特にビデオで起こしたい動作の種類を説明するのに役立ちます。

期待する出力が得られない場合は、「Enhance Prompt」を無効にしてみてください。これには、画像を説明し、シーンで起こしたいことを説明する必要があります。

非強化プロンプトでは、動作が少ないか全くない場合があります。必要に応じて、プロンプトに動きの指示を含めるようにしてください。

いずれの場合も、画像の重要な詳細、実行されているアクションの種類、シーンの異なる部分がどのように動くかをできるだけ詳しく説明すると役立ちます。例えば、A woman dancing ballet, her arms gracefully extending upward as she twirls around, the dancers behind her bowing low to the ground

例えば、以下の画像で「A blue car driving on a road is flying over a skyscraper gradually.」とプロンプトしてみます。

そうすると、車は走りましたが、摩天楼の上空を飛ぶ現象は起きませんでした。少しプロンプトの内容が奇想天外だったかもしれません。

次に、「A blue car driving on a road is driving on the highway.」とプロンプトして、日常的な情景を生成するようにしてみます。

生成してみると、画像にある橋を高速道路とみなしているのか、この情景のまま車がひたすら走り続ける動画が出来上がります。また、道路が全く動かないので、走っている感じはあまりしませんでした。

この動画では、最後に場面転換をしようとしています。高速道路で車が追い抜かれるシーンが生成されているのでしょうか。

プロンプトの方法（テキストからビデオにする場合）

以下が公式ドキュメントの内容です。

良い結果を得るための素晴らしい方法は、「Enhanced Prompt」を使用することです。これを有効にすることで、*“海で泳ぐテディベア”*のような短いプロンプトを使用でき、Dream Machineが自動的に追加の説明を生成して、より詳細な生成を支援します。

期待する結果が得られない場合は、「Enhance Prompt」を無効にしてみてください。非強化プロンプトは、シーンの内容と希望するアクションを3～4文で説明する必要があります。例：“*In a somber, nostalgic style, a young man sits on a tree stump in a forest, the warm autumn leaves surrounding him. He wears a brown jacket, dark shirt, and blue jeans, his fingers deftly moving along the fretboard of an acoustic guitar.*”

一般的に、以下の点を具体的にすることで、より良い結果が得られます：

カメラの動き：*“A dramatic zoom in”, “An FPV drone shot”*

アクションと動き：*“A teddy bear swimming with its arms and feet as the turbulent water splashes all around”*

オブジェクトの特徴：*“A white teddy bear wearing sunglasses with soft fur texture”*

設定と背景：“A beautiful cloudy sunset near a Caribbean beach”

試しに、カメラの動きを指定してみます。「A lot of stuffed rabbits constructing a building in the land of sweets in right in the middle of the meadow with a dramatic zoom in.」とプロンプトして、「Enhance Prompt」を無効にします。

すると、以下のようなシーンが生成されました。次節のプロンプトでカメラの動きを指定していないものがありますが、それと比べてリアルな描写になっています。しかし、このカメラの動きで生成された動画がなぜか動きません・・・。ほぼ静画です・・・。

もう一つ提示されているカメラの動きも指定してみます。「A lot of stuffed rabbits constructing a building in the land of sweets in right in the middle of the meadow. They are filmed with an FPV drone shot.」とプロンプトします。

すると、以下のようなシーンが生成されました。ドローンから撮影しているテイストが加わることで、こちらも現実的な描写になっています。しかし、ウサギが周りにいません・・・。右端に見えているのがウサギでしょうか？（ちなみに家の中にウサギがいますが、沢山はいませんね。）

次に、「A lot of stuffed rabbits constructing a building in the land of sweets in right in the middle of the meadow. They are filmed with FPV shot by drone moving around that building.」とプロンプトしてみると、このようなものに。

ドローンの視点は、建物の周りを周回しながら展開してほしかったですが、この時は建物が表示されておらず、ただウサギが沢山いただけの動画でした。

次に、「A lot of stuffed rabbits constructing a building in the land of sweets in right in the middle of the meadow. They are filmed with FPV shot by drone moving around them.」とプロンプトして、ドローンの視点を当てる対象を、家ではなくウサギにします。

しかし、この時も建物が表示されておらず、ただウサギが沢山いただけの動画でした。

同様に「A lot of stuffed rabbits constructing a building in the land of sweets in right in the middle of the meadow. They are filmed with FPV shot by drone moving around that building.」とプロンプトして、「Enhance Prompt」を有効にしたパターンです。

こちらは家がちゃんと表示されていて、ドローンがその家の周りを周回しながら撮影している様子でした。「Enhance Prompt」は有効にした方がかなり要望に対する確度が上がりそうな所感です。（ただ単に僕のプロンプトが下手なだけかもしれませんが・・・。）

FAQの確認

次に、FAQの方を確認していきます。

サブスクリプション（有料プラン）で何が得られるのか？

以下が公式ドキュメントの内容です。

キューがある場合、優先度の高い生成が提供される

商用利用権

透かしなしのダウンロード（6/17 6AM PST以降にすべての新しいビデオに導入）

それでは、実際に無料プラント有料プランで、生成されるものを比較していきます。

比較したプロンプトはこんな感じです。

「A lot of stuffed rabbits constructing a building in the land of sweets in right in the middle of the meadow.」（たくさんのぬいぐるみのウサギたちが、草原の真ん中にあるお菓子の国で建物を建設しています。）

無料プランの状態で動画を生成すると、このような状態で生成されました。

そして、Standardプランの状態で動画を生成すると、このような状態で生成されました。より建物っぽいものが登場しています。

右上の「LUMA」の透かしが依然として表示され続けるのかと思いきや、生成された動画をダウンロードすることで、右上の透かしは無くせるようです。

過去に無料プランで生成した動画に対しても、右上の透かしは無くせるようです。

また、「キューがある場合、優先度の高い生成が提供される」のかどうかは、体感としてはあまり分かりませんでしたが、アクティブユーザーが増えると生成スピードが速くなるんでしょうかね。

サブスクリプションに登録すると無料クレジットが引かれるのはなぜか？

以下が公式ドキュメントの内容です。

これは当社のミスコミュニケーションによるもので、現在は修正されています！有料階層は現在、30回の無料生成＋120回の有料生成を受け取ることができ、これは以前の有料ユーザーにも適用されます。

この記載の通り、Starndardプランに年間登録した時は無料クレジットもちゃんと有料クレジット中に持ち越されていました。無料プランで月間30枚、Standardプランで月間120枚のクレジットが付与されます。（2024-06-27時点）

「ビデオ生成エラー、再試行してください。（ネットワークエラー）」と表示されるのはなぜか？

以下が公式ドキュメントの内容です。

画像からビデオを作成している場合、アップロードした画像の形式がサポートされていないか、画像ファイルが大きすぎる可能性があります。画像をjpg、jpeg、またはpng形式に変換し、画像サイズを縮小してみてください。このエラーメッセージの改善に取り組んでおり、皆様のフィードバックに感謝しています。

5秒以上の生成/ネガティブプロンプトの追加/アスペクト比の変更は可能か？

以下が公式ドキュメントの内容です。

現時点ではサポートされていません。今後のバージョンのDream Machineのために追加のコントロールに取り組んでいます。皆様のフィードバックに感謝しています。今後のバージョンで見たいものがあれば、Discordで共有してください。https://discord.com/invite/lumaai

Discordで利用可能になるのか？

以下が公式ドキュメントの内容です。

Dream Machineは現在、https://lumalabs.ai/dream-machine でのみ利用可能です。

Discordで利用できるようになると、すぐに動画を生成できて便利そうですね。

Dream Machineのビデオを商用利用することは可能か？

以下が公式ドキュメントの内容です。

無料プランでは、当社の利用規約に定義されているように商用利用の許可は与えられません。この制限を解除するには、いずれかの有料プランに登録してください。https://lumalabs.ai/legal/tos

生成が得られないのはなぜか？

以下が公式ドキュメントの内容です。

新しい生成の場合、ページをリフレッシュするか、ビデオをクリックする必要があるかもしれません。ページをリフレッシュしても動作しない場合は、Discordでヘルプチケットを送信してお知らせください。

新しい「延長」機能はクレジットを消費するのか？

以下が公式ドキュメントの内容です。

はい。「延長」ボタンはビデオを5秒間延長し、1回の生成クレジットを消費します。

早期機能にアクセスするにはどうすればよいか？

以下が公式ドキュメントの内容です。

近くDream Machineエディタが利用可能になります！ここでサインアップし、最新情報をお待ちください。https://docs.google.com/forms/d/e/1FAIpQLScgsh3Cf2VXf8k7k9iVd-nP5NZk-TSRfq4Tkvh7inv8kS9Ulg/viewform

未使用のクレジットは翌月に繰り越されるか？

以下が公式ドキュメントの内容です。

いいえ、クレジットはサインアップ日（無料プラン）またはサブスクリプション日（有料プラン）から1か月後にリセットされます。

一時的な1日制限はどのように機能するのか？

以下が公式ドキュメントの内容です。

無料プランのユーザーとして、1日の生成制限に達すると、24時間時計がスタートし、新しいプロンプトを送信できるまで24時間待つ必要があります。

無料プランのユーザーは月間30枚の動画を生成することが可能ですが、1日に生成できる動画の枚数も決まっているようです。僕自身も、無料プランの時に、1日の生成上限に達して新しく動画を生成できなくなったことがありました。制限が解除されるまで待つ外に無さそうです。

サブスクライブしたユーザーとして透かしなしのビデオをダウンロードするにはどうすればよいか？

以下が公式ドキュメントの内容です。

いずれかの有料プランユーザーは、生成ページまたは詳細ページで「ダウンロード」ボタンをクリックすることで透かしなしのビデオをダウンロードできます。PCでは、新しいタブが開き、透かしなしのビデオが表示され、Chromeでは「…」をクリックしてダウンロード、Firefoxでは右クリックして「名前を付けて保存」を選択します。モバイルでは、ダウンロードが自動的に開始され、完了時にカメラロールに保存されます。

PCでダウンロードボタンをクリックしても何も表示されない場合は、ブラウザが新しいポップアップをブロックした可能性があります。ブラウザの設定に入り、ポップアップのセクションを見つけ、www.lumalabs.ai/dream-machine/creations を許可するサイトとして追加してください。

生成ページのサムネイルから直接右クリックしてビデオを保存しても、透かし付きのビデオが取得されます。

これは先程、生成した動画の中に透かしがないことを確認できました。その時は、PCのChromeブラウザで確認しました。

おまけ：ログイン時に認証エラーになることがある

ある日、このDream Machineにログインしようとした時に、「OAuth error: invalid_grant」というテキストのみが表示されて、ログインできなくなった時がありました。

X（旧Twitter）で呟いているアカウントは見つけられなかったため、その現象が原因がサーバーの障害なのかどうかが不明でした。（Googleアカウントでしかログインできないので、そのアカウントで認証エラーになったら詰む。Lumaを使えない。）

まあ、2,3日放っておいてログインし直したら再び使えるようになったので、たまにそういうことが起こるみたいですと心に留めておきます。

まとめ

本記事のまとめです。

Luma Dream Machineのプロンプトガイドでは、「Enhance Prompt」を有効化もしくは無効化にしてプロンプトする方法が紹介されているが、有効化した方が目的の構成の動画になりやすい。
サブスクリプションに登録すると、生成した動画をダウンロードする際に透かしが無くなる。
サブスクリプションに登録すると、無料プラン時の生成クレジットも保持される。
Dream Machineのビデオを商用利用は、有料プランのみに許可される。
Dream Machineの無料プランには、プランのクレジット数とは別に、1日の生成数の上限もある。
Dream Machineへのログイン時に認証エラーになることがある。

「Enhance Prompt」を無効化にしている状態でも、目的の動画を作れるようにしたいです！