Runwayが動画生成のリアルタイム化を研究、指示しながら映像が流れる
- 動画生成AIのRunwayが、指示を出しながら映像を流し続けるリアルタイム生成の研究を公開しました。
- 作って待って作り直す今の手順をなくし、最初の1コマが出るまでの時間を短くするのが狙いです。
- Nvidiaと開発した試作は最初の1コマを0.1秒未満で出す設計ですが、提供時期は発表されていません。
「待って作り直す」をなくす研究
動画生成AIのRunwayが、リアルタイムの動画生成についての研究を公開しました（THE DECODER）。
今の動画生成は、指示文を入れて数秒から数分待ち、できあがった映像を見る手順です。
思った映像でなければ最初からやり直します。
Runwayによると、利用者から繰り返し届く不満は、この生成と修正にかかる時間でした。
そこで最初の1コマが出るまでの時間を縮め、指示を出しているそばから映像を流し続ける形を目指しています。
土台は、Runwayが2025年12月に発表したGWM-1です。
動画生成モデルGen-4.5をもとに映像を1コマずつ作り、カメラの動きや音声を操作の入力として受け付けます。
3月にはNvidiaと共同開発した試作を同社の催しGTCで見せました。
最初の1コマを100ミリ秒（0.1秒）未満で出す設計です。
小さな崩れが積み重なる問題
リアルタイム生成には弱点があります。
文章を作るAIは途中で言い直せますが、動画は前のコマの上に次のコマを積みます。
1コマの小さな崩れが、時間とともに大きな歪みに育ちます。
Runwayは、きれいな映像だけでなく自分が生成した映像でもモデルを学習させ、ずれを広げずに直す癖をつけさせています。
Runwayは費用の面にも触れています。
速いモデルは計算に使うGPU（画像処理用の半導体）の時間が短く、同じ品質の映像を安く作れます。
1本あたりの費用が下がれば、これまで採算が合わなかった使い道が成り立つというのがRunwayの説明です。
提供時期は未定
Runwayが長い目で最も大きいと見ているのは、見る人の動きにすぐ反応する映像です。
教育やゲーム、ロボットの訓練を例に挙げています。
今回の研究をいつ製品として使えるようにするかは発表されていません。
自分のチャンネルにどう影響するか
すぐ使える機能ではありませんが、動画制作のうち映像素材の工程の進め方が変わる方向がはっきりしてきました。
映像素材の工程では、いまの動画生成は1回ごとに待ち時間があり、欲しいカットが出るまで何度も回す必要があります。
指示しながら映像を見られる形になれば、顔出しなしチャンネルの合間の映像を、台本を読み上げながらその場で調整する使い方が現実的になります。当面は、今使っている動画生成サービスで1カットあたり何回作り直しているかを記録しておくと、リアルタイム型が出たときに乗り換える価値があるかをすぐ判断できます。
1コマずつ積み上げる仕組み上、長い映像ほど崩れが出やすい点は変わりません。
YouTubeに載せる素材は、短いカットを重ねて編集でつなぐ使い方が当面は無難です。
コメント
まだコメントはありません。最初の1件をどうぞ。