購読する ニュース - ソフトウエア
WWDC26において、Appleはフォーマット開始以来最も重要なApple Immersive Video（AIV）のアップデートを発表した。その目玉は、リアルタイムイベント向けのApple Immersive Liveフォーマット、iPhoneおよびiPadに対応したImmersive Media Supportフレームワーク、そしてついに片目あたり8Kのコンテンツを4Kフレームサイズでストリーミング可能にする静的フォーベーション配信機能だ。これらにより、AIVは単なる撮影・ポストプロダクションの「珍品」から、Apple Vision Pro向けの完全な放送用制作パイプラインへと進化する。
Apple Immersive Videoは、Apple Vision Pro向けに特別に開発された同社の立体視・広視野角フォーマットで、毎秒90フレーム、片目あたり5000万画素以上で撮影され、最大230度の視野角を目標としている。16分間の短編映画『Submerged』やBlackmagic URSA Cine Immersiveカメラと共に発売して以来、このフォーマットはDaVinci Resolve、Colorfront、SpatialGenといった各ツールで着実にサポートを拡大してきた。Apple Developerサイト内の新しいApple Immersive Video専用ページにまとめられたWWDC26のアップデートは、Appleがこのフォーマットを自社デモ以上の用途で活用したいと考えていることを示す、これまでで最も明確なシグナルだ。Vision Pro向け没入型映像制作に関する当サイトの記事を追っている読者にとって、ワークフローの物語が成熟する瞬間がここにある。
Apple Immersive LiveフォーマットがAIVを放送インフラへ導入
最も重要な追加機能は「Apple Immersive Live」だ。これは、イベントをVision Proへ直接ライブ配信することを目的とした一連のフォーマットとツールである。Appleによると、このライブ配信パイプラインはSMPTE ST 2110に基づいて構築されたプロフェッショナルな放送インフラに組み込まれるよう設計されており、ProResビデオ、Spatial Audio、およびキャリブレーション済みのレンズメタデータをまとめて転送した後、MV-HEVCにエンコードする。その売りは「リアルタイムでの臨場感」だ。ライブスポーツやイベントを、単なる平面的な映像ではなく、実物さながらの鮮明さとスケールで届ける。
これはAppleの以前のロードマップを直接踏襲したものだ。当社は昨年12月、同社が2026年初頭にLAレイカーズの試合でライブAIVストリーミングを開始する計画であるとレポートしたが、WWDC26で発表されたツールセットは、まさにそのような制作に向けた開発者向けの基盤となるものだ。SMPTE ST 2110の採用が重要なのは、没入型フィードが、従来の放送信号をすでに伝送しているのと同じIPベースのインフラを利用できることを意味し、すでにST 2110ルーティングを運用している施設にとって統合のハードルを下げるからだ。
Immersive Media SupportフレームワークがiPhoneおよびiPadに拡大
AIVメタデータの読み取り、書き込み、オーサリングを扱うImmersive Media Support（IMS）フレームワークは、これまでvisionOSとmacOSに限定されていた。今回のリリースにより、IMSはiPadOSおよびiOSにも拡張され、同じクロスプラットフォームAPIを通じて、iPhoneやiPadでも没入型コンテンツの処理、制御、再生が可能になった。これは重要な機能拡張だ。つまり、AIVコンテンツはヘッドセット内やMac上だけでなく、ほとんどの人が既に持ち歩いているデバイス上で確認・再生できるようになるということだ。
IMSには、ライブ撮影や複雑な撮影向けの新しいカメラオーバーライド機能も追加された。Appleによると、これにより制作の進行に合わせて静的なメタデータを拡張または置き換え、既存のカメラを参照したり新しいカメラを導入したり、回転、キャリブレーションモデル、およびAIMEデータから導出されたオプションのマスクを指定して、カメラをインラインで定義できるようになる。オーバーライドはレンダリング時にフレーム単位で適用され、Appleはこれを、没入型コンテンツのキャプチャと提示方法をフレーム単位で正確に制御できる機能と位置付けている。
実用的なリギング面での利点もある。visionOS 27では、IMSに既存のX軸反転に加えY軸反転機能が追加され、完全なステレオ認識機能と共に適用されるため、両眼がステレオペアとして正しく処理される。カメラを逆さまや通常とは異なる向きで設置する場合、これにより、それらのリグからの映像を、没入感を損なうようなステレオの不整合なしに統合できる。
スタティック・フォーベーションにより、片目あたり8Kのコンテンツをストリーミング可能に
ストリーミングは常にAIVにとって最大の課題だった。このフォーマットは片目あたり8K、90fpsで撮影されるが、Appleによれば、これにより1秒あたり100億ピクセル以上が発生し、実用的なネットワークでは処理できないデータ量となる。フレーム全体を4Kに縮小すれば帯域幅の問題は解決するが、そもそも臨場感を生み出すピクセル密度が犠牲になってしまう。
Appleが提示する解決策は、静的フォーベーション分布関数だ。画質を均一に縮小するのではなく、より小さなフレームの大部分を最も重要なピクセル（通常は魚眼レンズの中央領域）に割り当て、周辺部に向かって徐々に詳細度を低下させる。その結果、Appleによれば、元の90fpsでの知覚解像度の大部分を維持しつつ、ストリーミング可能な4Kフレームが得られる。Appleが初めてこの技術を公開した際、我々はその基礎となる技術を詳細に解説した。URSA Cine Immersiveは片目あたり8160×7200ピクセルを撮影するが、単純に4320×4320にダウンスケールすると、ピクセル密度は1度あたり40ピクセルから約24 PPDに低下する。一方、フォーベーション技術を用いれば、視聴者が実際に注視する領域で約40 PPDを維持できる。新しいサンプルプロジェクトでは、この技術がIMSと組み合わさり、扱いやすいフレームサイズで高精細な没入型ビデオを実現する様子が示されている。
独自のサイズのポータルビューがトリミング問題を解決
マルチタスクやインタラクティブなアプリの構築など、完全な没入が望ましくない場面もある。AIVのポータルビューは、没入感を抑えた解決策となる。課題だったのはデフォルトの16:9のアスペクト比で、これにより重要なコンテンツがフレーム外に切り取られてしまう可能性があった。再生アプリは、ポータル表示モード向けにカスタムのワイドアスペクト比を定義できるようになった。開発者は、AVKitベースのアプリではAVPlayerViewControllerのviewport portal aspect ratioプロパティを、RealityKitベースのアプリではVideoPlayerComponentのportal sizeプロパティを通じてこれを設定し、完全な没入を強制することなく、コンテンツに必要なスペースを確保できる。
Apple Spatial Audio FormatのアップデートはPro Toolsミキサーが対象
オーディオ面でも注目すべき点がある。Pro Tools向けのAAXプラグイン「Apple Spatial Audio Format (ASAF) Production Suite」には、サウンドチームにより多くのクリエイティブな制御権を与えることを目的としたいくつかの改善が盛り込まれている。Appleによると、クリエイターは参照動画に対してオブジェクトを相対的に配置できるようになり、アンビソニクス機能では新しいシーンコンプレッサープラグイン、強化されたヒートマップ描画、洗練された空間フィルタリングアルゴリズムの恩恵を受けられるという。より豊富なオブジェクトの向き制御や、独立したLFEおよびセンターを含む追加のチャンネルベッドレイアウトへの対応により、ミキシングの選択肢が広がった。ASAFビデオプレーヤーのアプリ状態はDAWセッションと共に保存されるため、中断した箇所からミキシングを再開できる。
ASAFは引き続きAIVサウンドの基盤であり、オブジェクトベース、チャンネルベース、および高次アンビソニクスオーディオを単一のコンテナに統合し、ヘッドトラッキング対応のバイノーラルレンダリングをApple Positional Audio Codec（APAC）を介して伝送する。Pro Tools側の改良点は、没入型プロジェクトを実際に納品するミキサーにとって最も重要となる、地味ながらもワークフローを洗練させるようなものだ。
これによって没入型制作が向かう先
これらを総合すると、WWDC26の発表内容は単なる機能リストというより、Appleがキャプチャからデリバリーに至る全プロセスにおけるギャップを埋めているように見える。ST 2110によるライブ制作、iPhoneやiPadでのIMSを通じた幅広い再生、スタティック・フォベーションによるストリーミング配信、カスタムポータルを通じた柔軟な低没入感視聴、そしてASAFによる仕上げ段階のオーディオ制御などだ。没入型ビデオが持続的な商業的視聴者を獲得できるかどうかは、以前にも指摘した通り依然として未解決の課題だが、ツールチェーンの重要性を否定するのはますます難しくなっている。新しいApple Immersive Video開発者サイトではパイプライン全体を詳しく確認でき、実際の制作を計画しているなら、Appleが以前公開したBlackmagicベースのキャプチャおよびポストプロダクションワークフローが依然として最良の出発点となる。AppleのドキュメントはApple Immersive Video開発者ページおよび新機能の概要で確認できる。
これらの更新内容は、6月12日まで開催されるWWDC26で詳細が発表された。イマーシブメディアサポートの変更やY軸反転機能はvisionOS 27に関連している。Appleはこれらの開発者ツールに価格を設定しておらず、これらはプラットフォームのフレームワークの一部として、またPro Tools向けの無料ASAF Production Suiteプラグインとして提供される。
