コリンズ辞書はAIを2023年の流行語に選んだ。その通りだ！人工知能の発展とその人気は、この1年で新たな段階に突入した。個人的には、ChatGPTや様々なテキスト画像生成ツールについて聞いたことがない人を知らない。この技術を使うことの倫理をめぐる議論もまた、広範囲に及んでいる。しかし、ディープラーニング・モデルが提供できるものは、映画スターの面白いフェイク写真やソーシャルメディア用に生成されたテキストだけではない。ここでは、あなたのワークフローを強化し、あなたの仕事を容易にする、2023年からの映画制作者のためのAIツールを紹介する。
まず最初に簡単な注意事項を。他の辞書（Cambridge Dictionaryなど）の中には、「Hallucinate」を2023年の流行語大賞に選んだものもある。これはAIにも関連しており、従来の意味に加え、最近新たな意味を獲得した。
人工知能（＝人間の脳が持っている資質の一部、例えば人間らしい方法で言語を生成する能力などを持つコンピューターシステム）が幻覚を見るとき、それは誤った情報を作り出す。
ケンブリッジ辞書より引用
だから、AIツールは慎重に使い、その人工頭脳が生み出すものすべてを信じてはいけない。以下のリストでは、私が個人的に映画制作のルーチンに適用し、非常に便利だと感じているAIツールを見つけることができる。ただし、それらが完璧というわけではない。
映像制作をシンプルにする2023年のAIツール
2022年は、シンプルな言葉を突然美しいアートワークに変えるAI画像ジェネレーターの話題で持ちきりだったが、2023年はついに、「なぜ動画で同じことができないのか」という疑問に対する答えを提示した。この春、ニューヨークを拠点とする企業Runwayは、ディープラーニング・モデルGen-1（動画から動画へのアプローチ）を発表し、その数ヵ月後にはGen-2（テキストから動画、画像から動画へのアプローチ）を発表した。
Runwayのソフトウェアはブラウザ上で直接動作し、非常に使いやすい。まずは試してみたいという方のために、世代数に制限のある無料プランが用意されている。サインアップした後、いわゆるAIマジックツールのいずれかを選択し、作成を開始することができます。Gen-1では、ソースビデオのスタイルを変更することができ（例えば、完全に漫画のようなルックに）、Gen-2では、ゼロからクリップを生成することができます。試すには、”Start with Text “をクリックし、作成したいシーンの詳細な説明を入力してください。Preview “ボタンをクリックすると、テキストプロンプトに基づいた4つの静止画像が表示されます。選択して進むと、それが生成されるビデオの初期フレームとなる。
上の例で見たように、クリップは4秒しかなく、これがこれらのAIモデルの現在の限界だ。生成されたビデオのデフォルトの解像度は768×448です。後でRunwayの有料サブスクリプションや他のAIアップスケーラー（有名なTopaz Labsなど）を使ってアップスケールすることができる。
今のところ、Gen-2ビデオの結果を他のショットと一緒にコマーシャル編集で使うことは想像できない。さまざまなシナリオで試してみると、正直なところ、かなりずさんな出力になることが多いだろう。しかし、このモデルは間違いなく発展し続けるだろう。必要なショットをより正確に、より速く視覚化できるからだ。
Runwayは、Motion Brush（静止画像に自然で一貫性のある動きを加える）や人工的なスローモーションなど、一見の価値がある映画制作者向けのAIツールも提供している。全製品の概要はこちら。
ロケハンやショットのプリビジュアライゼーションのためのLuma AI
2023年のAIツールで私が一番気に入っているのは、断然Luma AIだ。すべての映画監督に携帯電話にインストールすることを勧めるものだ。なぜか？ロケハンやプリビジュアライゼーションの構築に超便利だからだ。
いわゆるNeRFテクノロジーに基づくLuma AIは、シンプルなビデオからフォトリアリスティックで高品質な3Dモデルを驚くほど短時間で作成する。それも、スマートフォンで直接だ！理想的な場所を偶然見つけたり、一人で偵察したりすることを思い浮かべてほしい。手持ちの携帯電話やカメラで）簡単な動画を撮影し、Luma AIにアップロードすれば、人工的な力で詳細な3D環境に変身させることができる（その後、好みの3Dソフトウェアにエクスポート可能）。iPhone11以降であれば、ルーマのアプリで直接ビデオをキャプチャすることもできる。
このスキャンは、DPやプロダクション・デザイナーに可能性のある場所を360度包括的に見せるだけでなく、アプリ内でカメラを直接アニメーション化することもできる。シンプルなキーフレームを使用することで、指定された場所でのあらゆるショットを事前に視覚化し、サードパーティーのアプリケーションを必要とせずにエクスポートすることができる。Luma AIの技術は照明条件も完璧に再現するため、選択した空間のシーンを素早くプリビジュアライズするための理想的なツールとなる。
Luma AIは無料で使用できる。ただし、”video to API “機能は例外で、1キャプチャにつき1ドルかかる。Lumaのフォトリアリスティックな3D NeRFモデルを別のアプリケーションに統合する必要があるとは思えないが、そのような状況が発生したとしても、コストは比較的低い。
Picsi.Aiで絵コンテやディープフェイクのためのフェイスモーフィングを行う
2023年に登場したもうひとつのAIツールで、特に印象的だったのはPicsi.Aiというものだ。ディープフェイクという言葉をご存知だろうか。そうでなければ、これは映画制作者が映画の中の顔を説得力を持って置き換えることを可能にする技術だ（例えば、俳優を若く見せたり、外見を完全に変えたりする）。
通常、まともなディープフェイクを作るには、何百枚もの写真を使ってディープラーニング・モデルを訓練する必要がある（少なくともハリウッド標準の結果を得るためには）。しかし2023年、別の技術、いわゆる「フェイス・モーフィング」が登場し、私はPicsi.Aiの助けを借りてそれを知った。
このツールはまだベータ版で（このような最先端の技術のほとんどがそうであるように）、Discordのボットを通じて動作する。このツールでできることは、選択した顔をターゲットの写真やビデオGIFにシームレスに重ね合わせることで、ディープフェイクに似ている。重要な違いは、必要なソース画像が1枚だけであることだ。あとはAIの驚異的な推測能力のおかげだ。以下の結果を見てほしい：
一見楽しそうだが、同時にこのツールはいくつかの作業をサポートしてくれる。例えば、（Adobe Fireflyのような）画像ジェネレーターで絵コンテ用のショットを作成し、フェイスモーフィングを使って主人公の外見を統一することができる。また、Picsi.AIの技術をショートGIFに応用すれば、プリビジュアライゼーション（ストーリーリールとも呼ばれる）にも使える。
とにかく、無料で試すことができる。毎日50クレジットを受け取ることができ、これは50世代分のフェイスモーフに相当する。このAIツールを使い始めるには、Discordで新しいサーバーを作成し、ここをクリックして「InsightFaceSwap」ボットを自分のサーバーに招待する。あとは2つのコマンドを覚えておくだけだ： ソース写真を登録するための「/saveid Name」（無料プランでは20枚まで登録可能）と、登録したIDで顔をモーフィングするための「/swapid Name」とアップロードした画像またはgifだ。
2023年に発表されたその他のAIツール
- AdobeのAudio Enhancerは、すでにPremiere（ベータ版）に統合されており、ブラウザからアクセスすることもできる。これはAIツールで、質の悪いオーディオをスタジオサウンドに変えることができる。オーディオ・ポストプロダクション用の他のAIツールとともに、こちらで紹介した。ちなみに、DaVinci Resolveにも「Voice Isolation」という同様のAI機能がある；
- 自動キャプションとテキストベースの編集は、選択したポストプロダクションソフトウェアに統合される。その仕組みはこちらをご覧いただきたい；
- AIベースのストックミュージック検索は、完璧な曲を見つけるために何百ものメロディーをブラウズするのに疲れた人のためのものだ；
- ColourlabのFreelabプラグインは、Adobe Premiere Pro、After Effects、またはDaVinci Resolveにゼロコストで追加でき、ワンクリックでどんなショットでも（まったく未知のものでも）REC709に変換できる。
Feature image source: generated with Midjourney V6 for CineD
