■ユーザー視点から生まれた「Motion Eye Dual」
本気に搭載されたMotion Eye Dualはカラー撮影用の有効約1920万画素のメモリー積層型CMOSイメージセンサーと、モノクロ撮影用の有効約1220万画素のCMOSイメージセンサーの組み合わせです。一般的に複数のカメラユニットが搭載されたスマホでは広角（ワイド）用と望遠用といった、画角や焦点距離の違いでカメラユニットを組み合わせている場合が多くありますが、カラー＋モノクロという組み合わせの場合画質向上の面で大きなメリットがあると担当者は語ります。

広角＋望遠といったカメラユニットの組み合わせの場合、1回の撮影で用いられるカメラユニットはどちらか一方となります。そのため画質向上に2つのカメラが活かされることはありませんが、本機では彩度表現を受け持つカラーセンサーと輝度情報を主に扱うモノクロセンサーの2つのカメラユニットを同時に使用して撮影するモードが存在します。

このモードでは2つのカメラで同時に撮影された画像を内部処理によって合成することで、ノイズが少なくラチチュードの広い画像の生成が可能となります。



こういったカメラユニットの組み合わせはユーザーの利用シーン調査によって決定されたとも述べ、スマホカメラでの撮影の半数近くが光量の少ない暗所での撮影であったり、さらに全撮影シーンの5％はほとんど光量がなく一般的なスマホでは十分な撮影ができない超暗所での利用だったことを挙げています。

こうした厳しい条件下でも美しい写真撮影を手軽に可能とするのが「カラー＋モノクロ」の構成なのです。





■カメラユニットの物理的な歪みをソフトウェア処理で補正する
しかし2つのカメラユニットからの画像情報を1つの写真に合成するというのは非常に難しい作業です。カメラユニットが物理的に別々の場所についていることに由来する撮影角度の違いやカメラユニットの取り付け角度の微妙なズレなどが画像の歪みや傾き、ズレを生むからです。

この問題に対し、ソニーはソフトウェア的に傾きやズレを補正する方法を取っています。レンズユニットの製造時の傾きやズレはレンズユニット1つ1つで違うため、完成したスマホ1つ1つの個体で調整を行っているのです。



レンズユニット同士は極僅かに上下左右へ三次元的に傾いているため、その補正方向も上下・左右・回転方向とさまざまです。単に傾いているだけではなく傾いた分撮影された画像にも奥行きの違いなどが生まれるため、歪み補正も欠かせません。





撮影角度のズレはさらに大きな問題となります。遠くの被写体であればズレは小さく、近くの被写体になるに連れて角度ズレは指数対数的に大きくなっていきます。こうした距離によるズレも全て補正することで、ノイズが少なくラチチュードの広い美しい写真を作り上げるのです。







■動画撮影時でも合成処理を可能にする専用チップ「AUBE」
この画像処理に用いられる専用チップが「AUBE」です。こういった画像の合成処理演算などは一般的なスマホの場合メインのチップセット（SoC）に内蔵されたGPUが用いられますが、それでは処理速度が遅く動画撮影時のフレーム処理にはまったく間に合いません。本機では専用チップを搭載することで動画撮影時であっても映像合成による高感度撮影を可能としました。





2つのカメラユニットを用いた「デュアルカメラ」モードのON／OFFは自動で行われるほか、手動での切り替えも可能です。自動の場合被写体全体が明るい場所ではカラーのカメラユニット単体での撮影が行われ、暗所や明暗差の激しい場所で自動的にデュアルカメラモードに切り替わる仕組みです。

このデュアルカメラモードによる撮影によって同社従来機種（Xperia XZ1）と比較し4倍の感度上昇効果を得られたとしており、静止画では最大感度ISO51200、動画では最大感度ISO12800を達成しています。





■高感度を活かしたHDR撮影
本機ではこの高感度撮影特性を最大限に活かす機能として4K動画のHDR撮影への対応があります。スマホとしては世界初となる4K・HDR動画撮影ですが、これを可能としたのが前述の通りAUBEの搭載です。

HDRとは単に暗い場所を明るく表現するといったものではなく、暗い場所は暗い場所としてしっかりと陰影を表現しつつ、明るい場所も白飛びさせることなく見たままに表現するというものです。



これを実現させるために本機では階調表現を従来の8ビットから10ビットへと引き上げ、さらに色域でも物体のもつ色空間の99％を再現できる最新の国際規格「BT.2020」へ対応しています。

ただし、HDR撮影は単純なデュアルカメラモードによる撮影よりもより情報量が多く高度な映像処理が必要となるため、4K・FHDともに24fpsでの撮影となります。



また、こういったHDR撮影やデュアルカメラモードによる超高感度撮影は、カラーのカメラユニットに使われたメモリー積層型CMOSイメージセンサーによって初めて実現できたと担当者は解説します。

一般的なHDR撮影では暗い場所の彩度や輝度情報を取得する長露光と明るい場所の彩度や輝度情報を取得する単露光とを別々のフレームで順に処理するため、時間的なラグが生じて動画撮影には向きません。

しかしメモリー積層型CMOSイメージセンサーでは長露光と単露光を同じフレーム内で処理できるため、撮影された映像情報のズレが極めて小さくHDR動画の撮影が可能となるのです。







■後発だからこそのソニーの「本気度」
技術解説の最後には実際に真っ暗な部屋の中でフラメンコダンサーによる超高感度撮影デモなどが行われ、本機の撮影性能がアピールされました。

スマホのカメラ機能の高度化と高性能化はここ数年のトレンドでもあり、中国や台湾ベンダー製のスマホを中心にカメラユニットの数の多さなども大きなアピールポイントになりつつありますが、ソニーの場合単にその競争に乗るのではなく「カメラユニットを増やすのなら徹底的にその使い方と実装品質にこだわる」という姿勢を感じました。



とくに「画像の歪みをスマホの個体ごとに調整している」という点は小さくない驚きでした。ソニーとしてもXperiaシリーズにおいてメインカメラなどで複数カメラを搭載した機種は本機が初であり、市場全体としては後発となったことに対して危機感のようなものもあったのかもしれません。

スマホによるHDR動画撮影に関しては圧巻の一言で、現状ではソニーの独擅場と言えます。現在はまだまだ再生可能なモニターなども普及しておらず利用の幅が限られますが、買い替えサイクルの長い家庭用テレビやPC用モニターなどではなく買い替えサイクルの短いスマホこそHDR撮影とその再生環境として適していると言え、スマホとHDR撮影の相性の良さを再認識した次第です。

本機は屋内や夜間でもノイズの少ないクリアな写真撮影を楽しみたいという方や、HDR動画撮影による美しい映像を残したいという方にこそ強くオススメしたい機種です。









■関連リンク
・エスマックス（S-MAX）
・エスマックス（S-MAX） smaxjp on Twitter
・S-MAX - Facebookページ
・Xperia XZ2 Premium 関連記事一覧 - S-MAX