ソニーは新しいイメージセンサー、IMX500インテリジェントビジョンシリーズを発表した。チップ上に直接AI画像分析システムが搭載されており、カメラの新しい機能を可能にする。
Sony’s new Intelligent Vision IMX500 series chips offer capabilities that are only limited by the imagination. Image: Sony Electronics
プレスリリースでは、2つの新しいインテリジェントビジョンCMOSチップモデル、IMX500とIMX501について説明された。 500がベアチップ製品であり、501がパッケージ製品であることを除き、これらは同じベースチップだ。
どちらも1 / 2.3インチタイプで、12.3メガピクセルの有効画素数を持つ。新しいチップの主な市場の1つがセキュリティカメラとシステムカメラだ。また、AIプロセスをチップに搭載することで、将来のビデオカメラ、特にドローンやGoPro、あるいはInsta 360などのアクションカメラに、新しい可能性が生まれるだろう。
Sony’s new Intelligent Vision IMX500 series chips. The IMX500 on the left, the IMX501 on the right. Image: Sony Electronics
IMX500の可能性
新しいセンサーの優れた機能の1つは、被写体や個人の識別などの機能。これは、オブジェクトを追跡したり、実識別する可能性がある。センサーからの出力も画像形式である必要はない。メタデータを出力できるので、実際の画像なしでも、見たものの説明を送信できる。これにより、データ容量を最大で10,000分の1に削減できる。
セキュリティやシステムカメラでは、これにより、通り過ぎた人の数を数えたり、店の棚の在庫を識別したりできる。ヒートマップによって顧客の行動を特定するようにプログラムすることもできる。
How the new Sony Intelligent Vision sensor is arranged. Image: Sony Electronics
従来のカメラに使用した場合は、被写体をより正確に識別して追跡できるため、オートフォーカスシステムを改善できる。AIシステムを使用すると、焦点を合わせる画像の領域を特定することにより、オートフォーカスシステムをよりインテリジェントにすることができる。たとえば花の写真を撮りたい場合、花の後ろにある木の枝ではなく、花に焦点を合わせることをセンサーが判断できる。顔認識もはるかに速く、信頼性が高くなる。
今日のオートフォーカスシステムは、すでに信じられないほど高度だが、超高速のオンチップオブジェクト識別によってさらに優れたものになる。 360度カメラの場合も、より信頼性の高いオブジェクトトラッキングが可能となる。
The new chip doesn’t have to output images. It could just output a description of what it sees. Image: Sony Electronics.
センサーにAIの必要性
AI機能をチップに直接配置する背景には、2つの主な原因がある。 1つ目は、処理が大幅に高速化されること。ソニーIMX500は、データを送信して他の場所で処理する必要がなく、1フレームの画像で機能を実行できる。もう一つの利点は、より高いセキュリティ。多くの場合、AI画像分析のためにデータがクラウド経由で送信される。これをセンサー内で行うことにより、潜在的なセキュリティの抜け穴を排除できる。
Cloud AIはオフラインでは使用できないし、リアルタイムでの分析をは限りがある。クラウドコンピュータのエネルギーとコストも必要で、それは環境に良くない。
GoProのような小型カメラでは、自己完結し、電力を節約できる。これによりカメラのメイン処理チップとメモリを節約でき、その分手振れ補正や色処理などを充実することができる。
An example of realtime tracking at a shop counter. Note how it is tracking the shop assistants limb movement as well. Image: Sony Electronics
無限の可能性
必要に応じてカスタムプログラミングできるので、可能性は無限にある。ソニーは、1つの例としてクルマに使用した場合、ドライバーを識別し、車の座席位置を自動的に調整することを提示している。また、ドライバーが居眠り運転を感知することも可能だ。
スポーツカメラの場合、フォームの識別に使える。たとえば、ヨガや武道のお手本と比較することで、改善すべき点を知るのに役立つ。唇の動きからの音声認識も、高速になり、すべてのカメラに搭載される可能性がある。ドラマを撮影では、カメラが俳優の演技を記録するのと同時にテキスト形式でセリフを出力することができ、ショットのロギングやスクリプトからのショットの識別が可能になる。
今回発表されたものは第1世代だが、時間の経過とともに高性能化が図られ、様々な用途に応用されるだろう。
関連商品
フジヤエービックのショップサイト
GoPro Hero8 BLACK(CHDHX-801-FW)
