広告

カメラのファームウェアハックが復活 ― AIを活用した改造でシャッターアングル、オープンゲートRAW、フィルム調のルックが追加

カメラのファームウェアハックが復活 ― AIを活用した改造でシャッターアングル、オープンゲートRAW、フィルム調のルックが追加

ソニー a7 IV のシャッター角度、シグマ fp の OG4K オープンゲート CinemaDNG、ニコン Z30 の高ビットレート、そして2005年製キヤノン EOS 5D のカメラ内フィルム風ルック:コミュニティ主導のカメラ改造の新たな波が、メーカーが提供しなかった機能を追加している。開発者の多くは、AIアシスタントがファームウェアの解析に役立ったと公言している。本記事では、各プロジェクトの機能、仕組み、そして起こりうる問題点について概説する。

この記事は「CineD」シリーズの第1弾であり、今後の記事で各プロジェクトについてさらに詳しく解説する。今回の注目を集めたきっかけは、写真家兼YouTuberのトニー・ノースラップが投稿した「AIでカメラをハックした(あなたにもできる)」という動画だった。しかし、GitHub上では数週間前から、ソニー、シグマ、ニコン、キヤノン、リコー、ハッセルブラッドの各カメラ向けのプロジェクトが次々と公開されていた。そのうちの2つについてはすでに報じている。フルセンサーから3K 3:2 CinemaDNGを記録するシグマ fpのオープンゲート・ハックと、新しい開発チームを迎え、より多くのキヤノン製デジタル一眼レフに対応したMagic Lanternの復活だ。先に進む前に、はっきり言っておく。これらのプロジェクトはすべて非公式かつ実験的なものであり、利用は自己責任で行う必要がある。

現在、非公式なカメラハックに限らず、ソフトウェアプロジェクトが雪崩のように続いている。これは、Vibe Codingのおかげで、開発者でない人でもコードを1行も知らなくてもあらゆる種類のツールを作成できるようになったためだ。

シグマ fp向けの最初のオープンゲートビルドでは、3000×2000のCinemaDNGオプションが追加された。画像提供:Vitali Li

古いアイデアと新しいツール

カメラのハッキングは新しいことではなく、過去15年間で最も人気を博した映画制作用カメラのいくつかは、その評判の一部をこれに負っている。Magic Lanternは2009年にキヤノン EOS 5D Mark IIで始まり、後にRAW動画機能を一連のCanon DSLRに導入した。長編ドキュメンタリー『Sea Gypsies on the 5D Mark III with Magic Lantern RAW』のように、作品全体がこの方法で撮影された例もある。ほぼ同時期に、GH1、そしてパナソニックGH2のハックにより、パナソニックのAVCHDコーデックのビットレートが工場出荷時の設定をはるかに上回る水準まで引き上げられ、パナソニックは公にハッカーたちの仕事ぶりに感銘を受けたとさえ述べた。2016年には、ma1coとして知られる開発者が、ソニーのPlayMemoriesアプリシステムを通じて、いくつかのソニーAlpha、RX、NEXカメラにおける30分間の録画制限を解除した。

これらすべてに共通していたのは、逆アセンブルされたコードを読み解き、ファームウェアの構造を文書化し、アセンブリ言語でパッチを書ける少人数のグループの存在だった。今、変わりつつあるのはその部分だ。

AIが変えるものと、変えないもの

シグマ fp用fpSupの開発者であり、bei、夏曉雨、あるいはijigenという名前で知られる人物は、AIがfpのファームウェアを逆コンパイルし、ファクトリーシェルと、カメラが起動時にSDカードから実行するAutoRun.txtファイルを発見した経緯を説明している。このプロジェクトでは現在、「AI Skills」を公開している。これはAIアシスタント向けに書かれた指示ファイルであり、他のユーザーが独自のアシスタントを使ってUSB経由でカメラを操作し、新しいツールを構築できるようにするためのものだ。ソニー a7 IV プロジェクト、ニコン Z30 向けの Wonder Lantern プロジェクト、そしてリコー GR ツールには、いずれも長文で丁寧に書かれたドキュメントが付属しているが、これらはほぼ100%の確率でAIの助けを借りて書かれたものだと私は確信している(もっとも、これは私がそれらを読んだ上での推測に過ぎない)。

同じfpSupの開発者は、私がこれまで読んだ中で最も有益な警告も発している。「これらすべてを『真実』ではなく『参考』として扱ってほしい。私のAIは多くの間違いを犯しており、その一部は今も私の研究ノートやSkillsに残っているかもしれない。」 私の見解では、この一文がこの動き全体を言い表している。AIを使えば、ファームウェアファイル内の隠れた設定をはるかに速く見つけられる。しかし、クリップの14分目に破損したフレームがあるかどうかをテストするわけでもなく、変更内容が次のコールドブート後も維持されるかどうかも教えてくれない。本格的なプロジェクトでは、すべての表において「カメラで検証済み」と「コード内で発見」を区別しており、何かを試す前に、その点を確認すべきだ。

ソニー a7 IV:サービスモードによるシャッター角度の変更

Sony a7 IV 機能調査プロジェクトは、映像制作者にとって最も興味深いものだろう。ファームウェア 6.02 を搭載した a7 IV において、開発者は既存の Sony-PMCA-RE ツールを使用し、ソニーの USB サービスモードを通じて保存された設定の 1 つを変更した。コールドブート後、カメラはムービーモードでシャッター角度のアイコンと「180°」を表示した。フラッシュ書き込みは一切行われていない。この方法ではバックアッププロパティが書き込まれ、元の値を書き戻すことでシャッター速度が復元される。プロジェクトのドキュメントには、360°から5.6°までの角度値が直接書き込めることが記載されているが、READMEには、ファームウェア6.02ではダイヤルやタッチ操作で内部の角度設定機能にまだアクセスできないと依然として記載されている。

ソニー a7 IV。画像提供:CineD

その他の発見は研究対象であり、機能ではない。ファームウェアには、16個のユーザースロットと.cube解析機能を備えたカスタムLUT実装が含まれているが、別の条件により依然として非表示になっている。5016×3344の3:2スキャンモードが記載されており、これはソニーがFX5で使用しているフルハイト5K読み出しのように見えるが、開発者は一致するエンコーダープロファイルを見つけられなかったため、a7 IVでのオープンゲート録画は証明されていない。1.3倍および2.0倍の設定を持つデスクイーズ表示は、「有力な候補だが未検証」として挙げられている。ソニーはFX30を含むシネマラインのカメラにはシャッター角度を表示しているが、αボディには表示していない。(ソニー、もしこれを読んでいるなら、a7 IVにシャッター角度メニューを追加するのはファームウェアのアップデートだけで済むし、多くのハイブリッド撮影者を喜ばせることになるだろう。)

旧型のソニーボディの所有者には別の方法がある。初代a7、a7 II、a6000、a6300、RX100 III~V、RX10 IIおよびIIIといったカメラは、ソニーの「PlayMemories Camera Apps」に対応しており、Sony-PMCA-REを利用することで、多重露光、ライトペインティング、スタートレイル、デジタルフィルターといった公式のソニーアプリを再インストールできるようになり、AIアシスタントがプロセスを案内してくれる。

シグマfp:3KからOG4Kへ

9月末にシグマfpのオープンゲート改造について取り上げた際、このカメラは3K 3:2のCinemaDNGを外部SSDに記録していた。それ以来、fpSupプロジェクトは急速に発展した。同プロジェクトの「Res-Custom」カードは、UHDやFHDに加え、さらに5つのCinemaDNGフォーマットを提供するようになった。2000×1334のOG2K、2096×1238のスーパー16クロップ、 3008×2000のOG3K、そしてカメラの画像処理エンジンでスケーリングされたフル1:1読み出しによる3456×2304のOG3.5Kおよび3840×2560のOG4Kだ。S16、OG3.5K、OG4Kの3つのフォーマットは、開発者のホセ・ウルタドによるものだ。

RAW出力目当てにこのカメラを購入した多くのユーザーにとって、その他のfpSupツールも同様に興味深いものだ。fpSup-Losslessは、標準ファームウェアでは動画用に決して使用されないカメラ独自のハードウェアコーデックを用いて、CinemaDNGをロスレスで圧縮する。プロジェクトによると、9.1 MBの3K 12ビットフレームは通常、約3.2 MBになるという。Gyro2は、Gyroflowでの手ぶれ補正のために各CinemaDNGフレームにモーションデータを書き込む。RAW-Viewは12ビットRAW画像のハイライトがクリップしている箇所を表示し、ScreenFlipは背面画面を回転または反転させる。すべてがSDカードからメモリに読み込まれ、カメラのフラッシュメモリには何も書き込まれないが、これはファームウェアVer.5.02を搭載したオリジナルのfpでのみ動作する。センサーが異なるfp Lはサポートされていない。 シグマFP2が公式に6Kオープンゲートに対応した今、オリジナルのfpが同じ月にコミュニティからオープンゲート機能を得たというのは、皮肉な出来事だ。

ニコンZ30:Wonder Lantern

Wonder Lantern Z30は、「Magic Lanternに似た」実験的なプロジェクトと自称しているが、その動作は異なる。ビルダーツールは、ユーザーが用意したニコンZ30の公式ファームウェアC 1.20を受け取り、そのサイズとチェックサムを確認した上でパッチを適用し、修正済みのファームウェアモジュールを出力する。機能一覧には、3つのビットレートプロファイル(Stock、Balanced、High)、25分まで延長されたスローモーション録画、ヒストグラムとレベル表示付きライブビュー画面、写真モードでのゼブラ表示、最大900秒の露光、ライブビューマスク付き6種類の写真アスペクト比、カスタムシャッター音、JPEG用のフィルム風日付スタンプなどが含まれる。最近のアップデートにより、ビットレートプロファイルが4Kに対応し、144 Mbpsから最大200 Mbpsへと拡張された。メンテナンス担当者は問題点について率直に説明している。以前のビルドでは再生やトリミングに不具合が見られたが、現行バージョンでの再生に関する修正は、あるユーザーによる再テストで確認された。このアプローチは改変されたファームウェアをインストールするため、SDカード経由のプロジェクトよりもリスクが高い。

Z30、背面。画像提供:ニコン

キヤノン:Magic Lanternとフィルム風プロジェクト

キヤノンでは、この新しい取り組みは15年以上にわたるMagic Lanternの成果を基盤としている。Magic Lanternチームは、これが改変されたファームウェアではなく、カメラの起動ごとにメモリーカードから読み込まれ、キヤノンのソフトウェアと並行して動作するプログラムであることを強調している。最新のプロジェクトは、写真撮影においてその基盤を活用している。Soup Engineは、2005年発売の初代EOS 5Dに13種類のフィルム風ルックを提供し、現像済みのJPEGを未加工のRAWファイルの隣に保存する。また、EOS 7D、50D、700D向けのコミュニティによる移植版も現在存在する。Latent StudiosによるThe Ritualは、EOS 5D、5D Mark II、5D Mark III向けに、そのフィルムルックを「任意の金額を支払う」方式で提供している。これらは静止画用のツールだが、キヤノンがとっくにサポートを終了したボディに、いまだどれほどの可能性が残されているかを示している。

EOS 5Dで撮影した1枚のフレームに、Soup Engineのフィルムルック全13種類を適用した例。画像提供:Soup Engine

スチルカメラにも注目が集まっている

リコーのGRシリーズには、現在3つのプロジェクトが進行中だ。GRKitは、GR III、GR IIIx、GR IVに対し、ライブプレビュー付きのフィルムルック、XPanやその他のクロップ、日付印字、粒子感に加え、新たにブルームやハレーション効果を追加するもので、SDカードから直接動作する。GR Modは、ダイレクトフラッシュモードなどの機能を備えた改造ファームウェアを作成するデスクトップツールであり、GR4-MonoUnlockは、GR IVモノクロームの6つのモノクロルックを標準のGR IVに導入するもので、そのうち3つは動画モードでも利用可能だ。ハッセルブラッドに関しては、ある研究プロジェクトにより、初代X2D 100Cおよび907Xで連続オートフォーカスと瞳認識が実現されたが、11月6日までに開発者らは一般公開を中止し、関連するツールキットを非公開にした。別の拡張機能では、X2D II 100Cに6コマの400MPピクセルシフトモードが追加されている。富士フイルムユーザー向けにも初の公開モッドが登場した。FujiModは、X70コンパクトカメラに23の機能を追加するもので、アスペクト比65:24、スナップフォーカス、追加のフィルムシミュレーション、アナモルフィック補正、F-Log記録などが含まれる。これはSDカードから実行するか、ファームウェアアップデートとしてインストールでき、Jonas Rask氏をはじめとする写真家たちはすでにこれを使った成果を公開している。開発者たちは、より古い富士フイルム研究プロジェクトであるFujihackのDiscordサーバーで共同作業を行っている。

GRKitは、リコーGRのADJレバーにフィルム調のルックを追加する。画像提供:GRKit

カード、設定、またはパッチ適用済みファームウェア

こうした改造を試そうと考えている人にとって、機能一覧よりも重要なのはその方法だ。基本的なアプローチは3つある。1つ目は、Magic Lantern、fpSup、GRKitが行っているように、起動時にメモリーカードから追加のコードを読み込み、カメラのフラッシュ機能には手を加えない方法だ。カードを取り外せばカメラは元の状態に戻るが、Magic LanternとGRKitの場合は、まずブート設定やスクリプト設定を有効にする必要がある。2つ目は、ソニー a7 IVプロジェクトのように、サービスモードを通じて保存された設定を変更するものだ。これも、元の値のバックアップを保持していれば元に戻すことができる。3つ目は、Wonder Lantern、GR Mod、GR4-MonoUnlockのように、ファームウェア自体にパッチを当てるもので、インストールに失敗するとカメラが起動しなくなる可能性がある唯一のアプローチだ。

これらのプロジェクトはすべて、パッチが特定のメモリアドレスを対象としているため、特定のファームウェアバージョンに紐づいている。fpSupはfpファームウェアVer.5.02でのみ動作し、「5.02以降ではない」とされている。また、Wonder Lanternは1つのSHA-256チェックサムを持つ1つのファイルのみを受け入れる。したがって、メーカーによるファームウェアのアップデートによって改造が失われる可能性があり、さらに悪い場合には、誰もテストしていない方法で改造と干渉する恐れもある。GR4-MonoUnlockも、改変されたファームウェアのインストールにより保証が無効になる可能性があると明記しており、これは他のプロジェクトにも当てはまる。

メーカーがここから学べる教訓

これらの機能のほとんどは、すでにカメラに備わっている。シャッター角度はa7 IVのファームウェアに、3:2フルセンサーモードはfpに実装されており、より高いビットレートやより長いスローモーションもZ30のハードウェアで実現可能だ。私の見解では、メーカーは技術的な理由ではなく製品ラインの都合でこれらの機能を抑制しており、こうしたハックによってその実態が明らかになっている。GoProは数年前にGoPro Labsという公式の実験的ファームウェアを導入し、デフォルトでは無効になっている機能を追加する別の道を選んだ。同社は今でも最新機種向けにこれを更新し続けている。コミュニティに任せるのではなく、もっと多くのメーカーが旧型機向けに同様の取り組みを行うことを期待したい。

GoPro LabsはQRコードでカメラを制御する。画像提供:CineD

このシリーズの次回

次の記事では、動画制作において最も重要なプロジェクトについてさらに深く掘り下げる。シグマ fp向けのfpSup(オープンゲートフォーマットやロスレスのCinemaDNGに対応)、ソニー a7 IVのシャッター角度に関する研究やファームウェアに隠されたその他の機能、ニコン Z30向けのWonder Lantern、そしてキヤノン向けの新しいフィルム風プロジェクトを備えたMagic Lanternについてだ。別の短い記事では、リコーGRとハッセルブラッドの改造について取り上げ、最後の解説記事では、これらの手法がどのように機能するか、また試す前にプロジェクトをどのように評価すべきかについて考察する。

この概要で紹介するカメラは、これらの改造を行うために新品を購入する必要はなく、そのいくつかは生産終了となっている。現在も生産されているボディのうち、ソニー a7 IV は B&H で $1,998、CVP で €2,010で販売されており、ニコン Z30 と初代 シグマ fp は B&H に掲載されている。

Leave a reply

フィルター
全て
ソート
latest
フィルター
全て
ソート
latest