購読する ニュース - カメラ
Camera Intelligenceは、第2世代カメラプラットフォーム「Caira」を開発中だ。この交換レンズ式マイクロフォーサーズカメラは、MagSafeを介してiPhoneに接続され、スマートフォンを画面およびインターフェースとして使用する。Camera Intelligenceによると、4/3型ソニー製クアッドベイヤーセンサー、クアルコム製Snapdragonプロセッサ、Google Edge TPUを搭載し、最大4K/30fpsおよび1080/60fpsでの録画が可能だという。
「Caira」は、以前の「Alice Camera」プロジェクトに続くもので、こちらもマイクロフォーサーズカメラとスマートフォンベースのインターフェースを組み合わせたものだった。以前、CEO兼共同創業者のヴィシャル・クマール氏に「Alice」とそのプロジェクトの背景について話を聞いた。
カメラが記録するもの、そして記録しないもの
撮影の段階では、生成的な処理は一切行われない。Camera Intelligence社によると、Cairaのカメラ内画像処理パイプラインは非生成型であり、録画ボタンを押した際に書き出されるファイルは、センサーからの従来の録画データだ。同社は、元の録画データは変更されず、生成された結果は別のファイルとして保存されると述べている。
編集はCairaアプリ内で開始されるが、プレスリリースでは、生成処理はGoogleのGemini Omni 1.1 FlashおよびRunwayのAleph 2.0によるものとされている。またCamera Intelligenceは、顧客の映像が「当社によっても、GoogleのAPIによっても」モデルのトレーニングに使用されることは決してないと述べている。このAPIへの言及は、生成処理がCairaのEdge TPU上ではなくカメラ外で行われていることを示唆しているが、同社は計算処理がどこで行われるかについては明示していない。生成時間は解像度に応じて1分から3分とされている。
4つのローンチ用テンプレート
Generative Video Editingは、「Relight」「Reframe」「Camera Motion」「Set Extension」の4つのテンプレートでリリースされる。編集は、Camera Intelligenceがコミュニティからのフィードバックを反映して開発した厳選されたテンプレートライブラリを通じて行われる。同社によると、これらのテンプレートはカラーグレーディングを行ったり、ドローン風のスイープをシミュレートしたり、その他のカメラパスを生成したりできるという。ユーザーは、入力または音声による自然言語の指示でテンプレートを微調整できるが、同社によれば、これらの指示はCairaの倫理的ガイドラインの範囲内で解釈される。
これらの編集が、実際に録画された映像にどのような影響を与えるかについて、正確に理解しておく価値がある。「Set Extension」と「Camera Motion」は、いずれもセンサーでは捉えられなかった視覚情報を導入するものだ。背景を拡張するには生成が必要であり、撮影されていないカメラの動きを再現するには、モデルがシーンの新たな視点を合成しなければならない。「Relight」も同様に、録画されたシーンに対して異なる照明処理を生成することで、従来の露出や色調整の範囲を超えている。あるプレス画像では、「Day to Night」テンプレートについて、昼間の映像を「シーン内の実在する照明が点灯した状態で」夜に変換すると説明されているが、プロンプト欄には「シーンをゴールデンアワーに変える」と記されている。もし元の映像でそれらの実在する照明が点灯していなかった場合、結果に現れるそれらの光は記録されたものではなく、生成されたものである。
「Reframe」とカラーグレーディングについては、その定義がそれほど明確ではない。「リフレーム」とは、単に既存の画像領域内で構図を再構成すること（つまりトリミング）を意味する場合もあれば、元のフレームを超える画像情報を生成することを含む場合もある。提供された資料には、Cairaがどちらのアプローチを採用しているかは明記されていない。カラーグレーディングについても同様の曖昧さがある。プレスリリースでは、テンプレートがカラーグレーディングを実行できるとされているが、これが従来の画像調整なのか、それともフレームの生成的な再解釈なのかについては説明されていない。
「物理法則を考慮した」とは何を指すのか
Camera Intelligenceによると、これらのモデルは各フレームを個別に扱わない点で、従来の生成型アプローチとは異なるという。プレスリリースによれば、これらのモデルはシーンの幾何学、照明、材質、動きについて、一貫した内部的な理解を構築する。同社はGemini Omniを「物理特性を認識する」と表現し、クリップ全体にわたってシーンを記憶できるため、人物や物体、カメラの動きがフレームごとに変化しても、再照明やセットの拡張が一貫して行えると述べている。
同社は、移動ショット全体に「ゴールデンアワー」などのエフェクトやその他の生成処理を適用したデモ映像を公開している。これらの例は、システムが時間の経過とともに処理を維持できるという主張を裏付けているが、根底にある「物理法則を意識した」モデルの挙動に対する厳密な技術的検証には至っていない。
注目すべきは出力解像度だ
ジェネレーティブ編集の出力解像度は720pまたは1080pだが、Caira自体は最大4K/30pで記録する。つまり、ジェネレーティブ処理を経た映像は、カメラの最大撮影フォーマットよりも低い解像度で返ってくることになる。4Kの最終納品を目指す映像制作者にとって、これは単なる仕様の詳細ではなく、実用上の制約となる。
Camera Intelligenceは、この機能を本格的な制作の代替というよりは、迅速なプレビジュアライゼーションやプロトタイピングのためのツールとして位置付けている。同社が挙げた一例として、ユーザーが午前中にコンセプト映像を撮影し、同日中にいくつかの案を提示した後、本格的なスタッフを揃えて最終的な制作を後から行うという流れがある。
テキストから動画への変換機能はなく、すべての生成編集はCairaで撮影された映像から始まる。
ラベリング、透かし、およびSynthIDの適用範囲
生成された結果にはGoogleのSynthIDによる透かしが入る。Camera Intelligenceによると、これはAI生成コンテンツを識別するために使用されるという。元の録画映像には透かしは入らない。
同社は、Runway Aleph 2.0で生成された出力に対しても同様のSynthID処理が適用されるかどうか、ウォーターマークが再エンコードやNLEでのさらなる編集にどの程度耐えられるか、またファイルに人間が判読可能なラベルやメタデータフラグ、C2PAコンテンツクレデンシャルが含まれているかどうかについては説明していない。ファイルがCairaアプリを離れた後、録画された映像と生成された映像の区別を明確にすることを目的とする場合、これらの詳細は重要となる。
Camera Intelligenceの「倫理的AI憲章」
この発表に併せて、Camera Intelligenceは、生成機能の取り扱い方針を概説した「倫理的AI憲章」を公表した。同社は、顧客の映像や画像が、Camera Intelligence自身またはGoogleのAPIを通じてモデル学習に使用されることは決してないと述べている。また、同社のガードレールにより、個人の肌の色、人種、または基本的な顔の特徴の変更が禁止されていること、さらに、事前に審査済みの商用モデルを使用している一方、利用可能になり次第、ライセンス取得済みでオプトイン方式のモデルを採用する計画であることも明記している。
Camera Intelligenceはさらに、同社のAIシステムがGoogleの生成AI禁止利用ポリシーに従っており、同社が「倫理的なシステムプロンプト」および「安全対策」と呼ぶものを適用していると述べている。これらの取り組みは同社の意図する境界線を定めているが、それだけでは、そうした安全対策が実際にどのように機能するかは示されていない。
クマール氏はまた、写真や映像制作におけるAIをめぐる広範な議論についても言及した：
現在、写真や映像制作におけるAIを巡っては強い感情が渦巻いていることを理解しており、アーティストやその技法、コミュニティに対して配慮と敬意を払いたいと考えている。
Camera Intelligenceの創業者、ヴィシャル・クマール
彼はさらに、伝統的な映画製作者やVFXアーティストは既存のワークフローを好むかもしれない一方で、Camera Intelligenceは、より従来型の制作やポストプロダクション作業に予算を割けないソロクリエイターやマーケターをターゲットにしている、と付け加えた。
同社によると、この機能はCairaの支援者111名を対象としたアンケート結果も一部反映されており、回答者の77％が生成型動画編集は自分たちにとって有用だと答えたという。
映像制作者にとって、これは依然として未知の領域だ。このような生成型ツールは、従来は制作段階に属していた決定事項（照明、フレーミング、カメラワーク、さらには環境の一部さえも）をポストプロダクションへと移行させ始めている。それは慎重に撮影する必要性をなくすものではないが、「ショットを捉える」という意味合いを変えることになる。一部の映像制作者にとっては、これは有用な柔軟性として映るだろう。一方で、他の人々にとっては、作者性、職人技、そして撮影された映像と最終的にスクリーンに映し出される映像との関係において、はるかに根本的な変化として捉えられるだろう。
価格とリリース時期
ジェネレーティブ動画編集機能は、今秋リリース予定の有料ソフトウェアプラン「Caira Studio」の一部となる。このサブスクリプションには、ジェネレーティブ画像編集機能に加え、まだ発表されていない追加機能1つも含まれる。価格はまだ確定していない。
この機能は当初、米国と英国でのみ利用可能となる。9月2日より、既存のCairaユーザーおよび応募選考を経て選ばれた5名の現役映像制作者を対象としたクローズドベータテストが開始された。
Caira本体の価格は999ドルのまま維持され、Kickstarterで支援された製品は引き続き毎月バッチごとに発送される。
