アップルは『コンピューテーショナル』な世界に。『原音』『実物通りの写真』とは？

2020年12月15日

最新のiPhone 12で撮影される写真を、アップルは『コンピューテーショナル・フォトグラフィ』と呼ぶ。また、今週発売されるAirPods Maxの音を『コンピューテーショナル・オーディオ』と称した。

これは何を意味するのだろうか？

コンピューテーショナル・オーディオと、コンピューテーショナル・フォトグラフィ

最近のiPhoneの写真は、1回シャッターを切っても数多くの撮影をしている。

あるカットでは、明るさの差を拾い、あるカットではハイライト部分のデータをピックアップ、また別のカットでは暗い部分の微妙な明るさの差を拾っている。また、LiDARなどでは距離データを取得している。

たとえば、HDR（High Dynamic Range）という撮影法がある。複数の露出で撮影したものを合成し、ハイライト部分でも暗所部分でも階調性を損なわないようにする手法だ。iPhoneをはじめとした最新のスマホのではこういう処理をさまざまな部分で行っている。

今持ってるiPhoneで『ハンパなくいい写真』を撮る30の方法

2018年06月27日

また、iPhone XS以降に搭載されるニューラルエンジンを使って、何を撮影しているかも認識しており、それに応じた処理も行っている。詳細のロジックは公開されてはいないが、青空だと認識したら青をキレイに出して、空のなめらかな部分にノイズが乗らないようにする。食べ物だったら、少し暖色にして明るいトーンにして美味しそうに。人の肌ならすべすべに……という具合だ。

つまりは、従来はカメラマンが一眼レフで複数カットを撮影し、Photoshopで行っていたことを、iPhoneは瞬時に本体内部で行ってしまうということだ。

たとえば、日本のカメラメーカーは可能な限り、『写真』として、光学的に取り入れた光を正しく表現しようとしてきた。だから、スマホの小さな直径のレンズと、小さなセンサーではできることは限られていると侮っていた。

しかし、iPhoneは圧倒的な『演算』能力でその限界を越えてきた。たとえば、先のHDRがそうだし、センサーブレ、手ブレを活用して、複数枚撮った写真を画素数方向に盛るなんていう手法も使っている。そして、ナイトモードでは、暗い場所で複数枚撮った写真を合成して、明るい写真を作り出している。

iPhone 12を暗闇で三脚に載せると、特別なモードに入り、すごい写真が撮れる

2020年12月02日

一眼レフの長時間露光と違うのは、明るい部分はそれ以上それほど明るくせずに、暗い部分だけ明るさを増強したりできるということだ。たとえば、この写真、一眼レフで芝生がこのぐらい見えるようになるまで長時間露光すると、空の部分が（街の光を受けているので）明るくなり過ぎて白飛びしてしまう。そうならないで合成できるのは、『コンピューテーショナル・フォトグラフィ』の力だ。

そもそも『写真』とは？　『原音』とは？

さて、日本語では『写真』という表現になるのが難しい。『真（まこと）を写す』と書いて写真と読むのだ。

しかし、編集者である我々はこの言葉に時々戸惑いを覚える。写真は恣意的なものだ。

たとえば、僕らは立派な人を撮る時に下側から撮る。そうすると力のある人に見える。しかし、尊大に見えることもある。逆に上から撮ると謙虚に見えるが小物に見える。写真をとる側の立ち位置が変わるだけなのに、まるで『真』が変わってしまったように思えてしまうのだ。

対して、英語の『Photograph』は、『photo（光）』で『graph（描く）』という言葉で、より実際の写真の原理に近い。結局のところ印画紙（現在でいえばディスプレイ）にどういう絵柄を浮かび上がらせるか？　というところがPhotographなのだ。

印象派という絵画様式がある。

彼らはフォトリアリスティックに対象を描くより、人の脳に、人の心に映像を浮かび上がらせようとした。

タッチは粗くても、人の脳に結像すればいい。そもそも、人は視界全体にフォーカスしていないから、画面全体ピントが合っているかのような絵画は人の見ている画像と違う。にじんだ、乱舞した光の方が、我々の見ている光景に近いにかもしれない。

彼らは見ている光の粒を、絵の具の点で描こうとした。影の部分にはその物質の色の暗い色があると同時に、補色や紫色の絵の具を置いている。これによって、実際に絵の具で表現できる以上に階調差、色の差を描こうとしたわけだ。

たとえば、写真に撮ると月がとても小さく写るのに驚いたことはないだろうか？　これは脳が知らず知らずに間に「月を見たい」という我々の心に従って、「月にズームイン」しているのだ。

大勢の人がいるのに、気になる人だけが視界に入ってくることは？　これらの印象を表現するために、我々写真を扱う人間は、望遠レンズで撮ったり、極端な例で言えば長めにシャッターを開けて、その間にズームしたり（マンガで言う効果線が入ったような感じの写真になる）、対象にだけジッとしてもらって、雑踏で撮って他の人をブラしたり……という手法を採る。

まぁ、そこまでの手法を現状iPhoneがやってくれるワケではないが、単に光学的に、その瞬間そこにある状態を切り取るだけでなく、『表現者が見せたい映像を、もしくは脳が感じている映像を』コンピュータのテクノロジーとして表現するのが、『コンピューテーショナル・フォトグラフィー』なのだと思うのだ。

だから、このままこの技術が進めば、対象以外はブレるとか、風景の中で人間が感じているように月だけが大きく拡大されるとか、そういう表現も行われていると思う。現に、遠方の鉄塔はシャープに映り、紅葉は色鮮やかに写るようになってきているのだから。