現代のデジタルアートやビジュアルコンテンツの制作において、AI技術はますます重要な役割を果たしています。昨今、様々な動画生成AIツールが誕生していますが、また新たなる刺客が。Luma Labsが提供するDream Machineというプラットフォームを紹介します。今回はテキストからの動画生成に挑戦します。
この記事に関連した制作事例はコチラ。
関連記事：テキストtoムービー・ロンドン発の直感的無料動画生成AI「Haiper AI（ハイパーエーアイ）」→
初心者の方は下記記事もどうぞ。
関連記事：Pika1.0ついにリリース 使い方をざっくり紹介【できる事】
関連記事：ChatGPT4と無料の動画生成AI・Runway Gen2で架空の商品のCMを作ってみた
Lumaとは
Dream Machineは、Luma Labsが開発した高度なAIを搭載したビジュアルコンテンツ生成ツールです。このツールは、テキストの指示や画像から高品質でリアルかつ幻想的なビデオを生成することができます。Dream Machineは、スケーラブルで効率的なマルチモーダルトランスフォーマーアーキテクチャに基づいており、直接ビデオをトレーニングすることで、物理的に正確で一貫性のあるアクション満載の動画を生成することができます。
Luma Dream Machineの登録から動画生成まで
URLはこちら。https://lumalabs.ai/dream-machine
右上の「Try Now」をクリック。
登録はGoogleアカウントから。サインインは至って簡単です。
画面一番上には「高い需要のため、無料プランは1日に10回の生成に一時的に制限しています。有料プランはキュー内で優先され、1日の生成回数に制限はありません。」と記載されています。
この中央のバーに生成したい動画をテキストで入力します。現在は英語推奨。日本語でテキストを作り、ChatGPT等で英語にするのがおすすめです。
尚、無料版の場合、120フレーム（24fps x 5秒）の動画が生成可能で、毎月30本作成できます。
入力するバーの下に「Idea」とあり、プロンプトの参考例がいくつか挙げられています。
プロンプトのコツを把握するために、参考例を使用してみます。
例示されている英語のプロンプトがこちら「サングラスをかけたテディベアがエレキギターを弾きながら、ジャングルの中、大きく美しい滝の前でダンスをしたりヘッドバンギングをしている。」
バーの右端の上向きの矢印をクリックすると動画生成が開始されます。
生成中の画面です。「生成中」ではなく「dreaming」となっています。
できました！
確かに、テディベアが美しい滝の前のジャングルでヘッドバンギングしています。
ギターの弦をつま弾く左手は、人間の指の様に精緻に描かれていますが、右手はテディベアらしい丸いフォルム、かつ、ギターを弾くというよりは、叩いているようなコミカルな動きです。豊かな滝の水もリアルに表現され、またジャングルも全く違和感がなく、臨場感があります。
Luma Dream Machineのプロンプトのコツ
サンプルとして例示されているプロンプトの例です。
・スキューバダイビングスーツを着たおばあさんが水中で笑っており、表情は穏やかさと幸福感。
・白銀の世界をうろつく威厳ある虎をローアングルで撮影した一枚。虎は雪の上に足跡を残している。
・のどかな牧草地をゆっくりと移動する牛たちを、カメラが滑らかなサイドアングルで追っている。
・ヨーロッパの城を高速FPVドローンで飛び抜ける映像。まず、空撮でそびえ立つ石の壁や塔の全景を捉え、その後、開いている窓を通り抜けて壮大な内廊下へ滑り込んでいく。
いずれも細やかに描写されています。
カメラのアングル、カメラワークについての指示も有効です。
ギターを弾くテディベアのプロンプトにはカメラアングルの指示はありませんでした。ない場合は、自ら判断して生成してくれるので、カメラワークの指示が難しい場合等は、あえてお任せすると、斬新な動画が生成される事でしょう。
おまけ（不成功）
サンプルのままでは物足りないので、既存のプロンプトを少々ワイルドにアレンジしてみました。
プロンプトは「サングラスをかけた野生のクマがエレキギターを弾きながら、ニューヨークの街中でダンスをしたりヘッドバンギングをしている。非常にリアルで、ヒップホップの雰囲気が漂っている。
リアルでHipHopのムードはありますが、少々雑。サングラスとは判断しづらく、かつ、どちらかというと熊のお面をかぶった人物がギターをもって走っているように見えます。
リアルバージョンで、サングラス、ヘッドバンギングは確かに不自然です。
サングラス、ヘッドバンギングを外し、プロンプトを下記に変え、再挑戦。
「ニューヨークの街角で、美しいクマがエレキギターを演奏しながら踊り、ヘッドバンギングしているシーンです。非常にリアルでヒップホップの雰囲気が漂っています。」
背景が大変リアルでになりました。観客が追加されています。またしても熊に指が人間のように長い指になっています。
背景に若干の不自然さはありますが、クマの動きにフォーカスすると、まずまずの出来ではないでしょうか。
Dream Machine 今後の行方
今後、機能追加が期待されています。
海外の記事等では下記のような機能の拡大があるであろうと言われています。
・ジャンル別コンテンツ生成: 映画、ロマンチック、アクションなど、特定のジャンルに特化したビデオ生成機能 (Geeky Gadgets)。
・高度なカスタマイズオプション: ユーザーがより詳細にプロンプトを設定できるような高度なカスタマイズ機能の提供 (Zeniteq)。
・リアルタイム生成: ビデオ生成速度のさらなる向上により、ほぼリアルタイムでのビデオ生成が可能になること (Open AI Master)。
また商圏の拡大も想像されています。
・マーケティングと広告: 高品質なビデオ広告を迅速に生成するツールとして利用されることで、広告制作の効率が飛躍的に向上します (Open AI Master)。
・エンターテインメント: 映画やテレビ番組の制作現場での利用により、制作コストの削減とクリエイティブな表現の多様化が進む可能性があります (THE DECODER)。
動画生成AIは他にも種類があり、今後ご自身にフィットするのがどれなのか、無料版で試しながらもっともお気に入りとなりそうなものを必要に応じて課金する事をおおススメします。
