Google 的 Pixel 手機自進入 Pixel 2 世代後,以獨特的 Visual Core 與 AI 技術顛覆單相機鏡頭影像的極致,而後續的 Pixel 3 家族更在多鏡頭旗艦機強敵環伺下仍有出色的影像表現,自然的低照度拍攝、單鏡頭散景即便面對有更複雜硬體的機種甚至更為傑出,最近更以更平價的 Pixel 3a 家族以 AI 攝影技術使其足以以下犯上,挑戰高階機種。
軟體定義為既有硬體帶來創新與突破
Google 台灣也請到擁有 Google 傑出工程師 Marc Levoy ,他擁有資深數位影像技術背景、同時也是由 VMWare 創辦人所支持的史丹佛大學電腦科學榮譽退休教授,為台灣媒體解開 Pixel 相機能如此出色的關鍵,而他開宗明義的指出, Pixel 手機的影像技術是顛覆過往的硬體定義相機,並轉化至軟體定義相機的科技結晶。
Pixel 手機的做法是打破過往靠固定功能硬體的作法,藉由計算攝影與連拍,透過高效率的機器學習技術取代傳統演算法,以 Google 的巨量資料作為基礎,配合 Google 的機器學習建立模型,在當代高性能的 Pixel 手機實現驚人的演算,同時 Google 也不藏私的將影像技術對外分享,藉此驅動創新與吸引更多人才。
Marc Levoy 指出,在手機上的相機應用程式需要符合幾項基本原則:執行需要迅速,預設模式不能失敗,重現消費者在攝影遇到的特殊情況,與在特殊模式下可接受偶發的失敗。在即時速度的要求,即時監看的資訊需要高於 15fps ,快門延遲需要低於 150ms ,成像時間需低於 5 秒內。
結合連拍與 AI 的先進 HDR+
在過往相機的 HDR 技術仰賴包圍式曝光做法,此技術是藉由捕捉不同曝光程度影像,並將多重影像加以疊合,實現從低光到高光皆清晰、細節清楚的影像,然而這項作法卻因為需要精確的影像疊合,在缺乏三腳架與手機晃動的情形難以成功拍出 HDR 影像。
而在 Pixel 3+ 的做法則是改變捕捉不同曝光的照片進行合成,以曝光不足、相同曝光的連拍影像作為基礎,如此一來影像更為相似也容易校準,並且能夠具備更吃惡的信號雜訊比( SNR )與減少陰影的雜訊,同時利用色調映射( Tonemap )強化陰影、降低亮處,雖會犧牲整體色調與對比,但能保留局部對比。藉突破的概念,也讓 Pixel 手機的 HDR+ 影像拍攝的成功率與影像品質超越傳統 HDR 模式。
結合機器學習與雙像素技術的單鏡頭肖像模式
由於手機先天感光元件尺寸,若以硬體定義相機技術,難以拍出如專業相機的景深,而肖像模式就是當代手機所使用的方式;在初期為了實現肖像模式,過往使用雙鏡頭先在相似焦點捕捉兩個影像,透過立體匹配演算計算深度,接著選擇一個平面作為保留銳利的基準,最終模糊基準外的影像,不過如此一來會增加硬體複雜度,並且還需要處理雙鏡頭的資訊。
然而僅有單鏡頭的 Pixel 手機則是透過機器學習作為基礎,在主鏡頭結合雙像素對焦元件取得深度資訊,而前鏡頭則是透過機器學習而來的影像分析,仍可實現單鏡頭的肖像; Google 透過卷積神經網路預估圖像中每個像素的人物,以超過百萬張標籤過的人物與配件進行培訓,使 AI 模型能夠在影像中框出人像輪廓。
以 AI 技術實現出色的高解析變焦
過往手機由於僅有單焦點單鏡頭設計,故要拍攝遠處的影像,只能透過數位變焦、也就是數位裁切的方式,但如此一來等同只是對影像進行局部裁切,畫質也會隨之下降, Google 雖未在 Pixel 的高解析變焦使用 AI 相關技術,然而藉由高速連拍技術合成更高畫素影像,使其可媲美當前具備 2 倍鏡頭的機種。
其中的關鍵,就是當代數位相機元件所使用的拜耳陣列結構,透過矩陣中配置 R 、 G 與 B 畫素組合構成影像,當手持進行高速連拍時,將原始、水平、垂直、與水平與垂直同時位移的四張影像結合,可藉由連拍之後將多張影像的顏色資訊相互填補,並透過顏色資訊重建方式,提升高解析度,若在完美不搖晃的環境,則反過來利用防手振技術製造手振使像素偏移。
將黑暗化為白晝的夜視模式
Google 的夜視模式也仍是基於高速連拍的技術結晶,按下快門後,高速捕捉達 15 張的影像,另外會根據手振程度與偵測畫面中是否有動體評估拍攝時間,有晃動就會延長取景時間,反之則縮短。而自 Pixel 3 則在此為基礎之上,再導入高解析變焦功能的技術概念,最終結合學習式白平衡調整色調。
夜視技術的出發點是為了實現在人眼難以辨識甚至不可見、但仍真實存在且具備色彩的夜間景物, Google 透過古典畫作的三大特徵,以強化對比、將陰影投射為黑色與透過黑暗環繞場景作為原則,並透過色調映射還原色彩,以古典畫作為師呈現出色的夜視模式。
少了 VisualCore 的 Pixel 3a 與 Pixel 3 僅有速度差異
或許會有消費者認為在少了 VisualCore 後, Pixel 3a 的影像表現會有所差異,不過 Marc Levoy 拍胸掛保證,除了少了 VisualCore 帶來的處理高效率外,由於相機相同, AI 模型相同, Pixel 3a 系列僅有處理速度較慢,影像品質不會有差異。